六月,诸王均到达长安。相州(今河南安阳)总管尉迟迥自认为是重臣宿将,心中不服,遂在东部举兵,赵、魏之士,从者如流,十五日之内,已达十多万,加上宇文胄在荥州(今河南荣阳西北)、石怼在建州(今广东郁南东南)、席毗在沛郡(今江苏沛县)、席叉罗在兖州(今山东兖州),都举兵响应尉迟迥,尉迟迥又送其子为人质请陈朝援助。杨坚命上柱国、郧国公韦孝宽迎战。雍州牧、毕王宇文贤及赵、陈等五王,在得知宣帝病逝的消息之前,杨坚便用假诏书将他们召回到长安,然后收缴了他们的兵权和印信。杨坚拘捕宇文贤斩首,不追究赵王等人的罪行,诏令五王可剑履上殿,入朝不趋,以稳其心。
韦孝宽在相州战胜尉迟迥,传首阙下,余党一一消灭。
起初,尉迟迥叛乱时,郧州(今山西稷山西南)总管司马消难举兵响应,淮南(今安徽寿县)州县多归附。杨坚命襄州(今湖北襄樊)总管王谊讨伐,司马消难奔逃至陈。荆(今湖北江陵)、郢(今湖北武昌)蛮族乘危叛乱,杨坚命亳州总管贺若谊征讨平定。在这之前,上柱国王谦为益州(今四川成都)总管,他看到幼主在位,由杨坚辅佐,就发动巴(今四川巴中)、蜀民众,以救亡扶危为借口反对杨坚。杨坚正致力于平定东土、山南,未来得及讨伐。王谦进兵屯据剑阁(剑门关),攻陷始州(今四川剑阁)。这时,杨坚命行军元帅、上柱国梁睿率军讨伐,打败王谦,传首阙下。巴、蜀地势险要,人好作乱,于是毁坏剑阁通路,立碑铭垂诫后人。在京五王阴谋反叛,日甚一日,杨坚携带酒肴造访赵王府第,想观其所为。赵王埋伏下甲士宴请杨坚,杨坚差一点遭暗算,幸亏元胄护卫,才幸免于难,于是诛杀赵王招、越王盛。五个王见自己无法与杨坚抗衡,便秘密联系在外的另一个王起兵,但不久便被杨坚打败。宗室势力被消除后,杨坚的皇帝之路平坦了许多。