不久，瓦岗军聚集了三十多万兵力，在洛阳北面邙山上摆开阵势，向南逼近洛阳的上春门，对东都造成极大的威胁。东都恐慌万状，杨侗命令段达、韦津带领隋军官兵出战。段达一出城，远远望见瓦岗军人多势众，军容整齐，吓得六神无主，扭头就往回跑。瓦岗军纵兵追击，官兵仓皇溃逃，韦津被瓦岗军杀死。瓦岗军声势大振，东都岌岌可危。
王世充在东都一再吃败仗，东都的文武官员死的死、降的降，兵力大为削弱。隋朝的一些地方政权，有的归附了瓦岗军，有的依靠自己掌握的一部分兵力，自立为王，成为称霸一方的割据势力。隋朝政权已经处于总崩溃的边沿。
驻在扬州的隋炀帝，面对这种难以收拾的烂摊子，也放弃了回东都的打算。他想依靠江淮地区这个鱼米之乡和手下的一部分兵力，守住半壁江山，能够偏安一方。可是，形势的发展也不以他的主观意志为 转移，江准地区的农民起义也如火如茶地发展起来，形成了以杜伏威为首的一支强大的农民起义军。江淮地区也不再是杨广的安乐窝了。
在这样的情况下，他还要在丹用(今江苏省南京市）建立新的都城他征调了许多农民做苦工，修建宫殿。他带去的军事多数是今陕西、河南人长期在外，都思念家乡，军心很乱。他就抓了江淮一带许多未婚妇女和寡妇，强迫分配给他的军事，更激起人民的无比愤恨。
内外交困的隋场帝已经感到末日即将来临。他严重入睡难，妃嫔们整夜守着他，象哄婴儿似地拍着摇着才能入睡，但睡了一会儿马上又被恶梦惊醒，大叫“有贼!有贼!”他疑神疑鬼，连他身边的宠臣、卫土也信不过了。有一次他对着镜子，用手摸着脑袋向萧皇后说，“好好的一个头，不知会被谁砍掉!?他又强装笑容说址“贵与贱，苦和乐，是相互转化的，我何必悲伤!”他时而痛哭流涕，时而发疯似地狂笑不已，弄得满朝文武、宫中嫔妃惶惶不安，一片混乱。