郝孝德嫌李密名气太大，又是被官府通缉的逃犯，不敢用他。李密又去投奔王薄，王薄也不愿意留他。李密到处流浪，盘费用完,肚子空空，饿极了就剥树皮充饥。他受尽千辛万苦到了淮阳(在今河南省)的一个农村，改名换姓，当了农村的教书先生。后来当地官府怀疑他是李密，要逮捕他，他又逃跑了。离准阳不远有个雍丘县(今河南省杞县)，李密的妹夫丘君明在这个县当县令，李密前去投奔他。丘君明怕受连累，不敢收留，便把李密送到玉秀才家中寄居。王秀才很讲义气，不仅收留了李密，还把女儿嫁给他为妻。哪知不久，丘君明的侄儿怀义向官府告密，隋炀帝派兵前往逮捕李密，官兵把王秀才的住宅团团围住。恰巧这天李密外出，得以幸免，可是丘君明和王秀才却都被抓去处了死刑。
这时，雍丘一带有好几支农民起义军:雍丘的李公逸部，外黄(今河南省把县东)的王当仁部，济阳(今山东省曹县)。兰封(今河南省兰考县)的王伯当部，都非常活跃。走投无路的李密，就在这几支农民起义军之间往来奔走，出谋划策，当说客，逐渐同这几位农民起义领袖有了交情，但仍得不到重用。后来，他听说瓦岗军比较强大，就让王伯当把他推荐给翟让。现在，李密是带着王伯当的推荐信，来投奔瓦岗军的。翟让虽与李密素不相识，但对李密的大名及其不幸的遭遇，则早已有所听闻。他对于李密的前来投奔表示欢迎。有人曾劝说翟让将李密害死，翟让不听，他认为李密是个有雄才大略的人，对李密很尊重。
李密到了瓦岗寨，受到翟让的器重，算是有了个落脚的地方。虽然他的出身和经历与农民起义军的其他首领不同，但他所受到的迫害，的确也够苦了。目前既然别无其他生路可寻，他也只好把心贴在瓦岗军上，用自己的才能尽力扶植这支反隋力量，以便有朝一日瓦岗军得天下，自己能有出头之日。于是，李密向瓦岗军的首领们提出了卓有见地的建议。
李密自幼好学，读过不少书，又做过隋朝的官，凭社会经验和兵法知识，包括翟让在内，各位起义军首领都是相形见绌的。