六月，诸王均到达长安。相州(今河南安阳)总管尉迟迥自认为是重臣宿将，心中不服，遂在东部举兵，赵、魏之士，从者如流，十五日之内，已达十多万,加上宇文胄在荥州(今河南荣阳西北)、石怼在建州(今广东郁南东南)、席毗在沛郡(今江苏沛县)、席叉罗在兖州(今山东兖州)，都举兵响应尉迟迥，尉迟迥又送其子为人质请陈朝援助。杨坚命上柱国、郧国公韦孝宽迎战。雍州牧、毕王宇文贤及赵、陈等五王，在得知宣帝病逝的消息之前，杨坚便用假诏书将他们召回到长安，然后收缴了他们的兵权和印信。杨坚拘捕宇文贤斩首，不追究赵王等人的罪行，诏令五王可剑履上殿，入朝不趋，以稳其心。
韦孝宽在相州战胜尉迟迥，传首阙下，余党一一消灭。
起初，尉迟迥叛乱时，郧州(今山西稷山西南)总管司马消难举兵响应，淮南(今安徽寿县)州县多归附。杨坚命襄州(今湖北襄樊)总管王谊讨伐，司马消难奔逃至陈。荆(今湖北江陵)、郢(今湖北武昌)蛮族乘危叛乱，杨坚命亳州总管贺若谊征讨平定。在这之前，上柱国王谦为益州(今四川成都)总管，他看到幼主在位，由杨坚辅佐，就发动巴(今四川巴中)、蜀民众，以救亡扶危为借口反对杨坚。杨坚正致力于平定东土、山南，未来得及讨伐。王谦进兵屯据剑阁(剑门关)，攻陷始州(今四川剑阁)。这时，杨坚命行军元帅、上柱国梁睿率军讨伐，打败王谦，传首阙下。巴、蜀地势险要，人好作乱，于是毁坏剑阁通路，立碑铭垂诫后人。在京五王阴谋反叛，日甚一日，杨坚携带酒肴造访赵王府第，想观其所为。赵王埋伏下甲士宴请杨坚，杨坚差一点遭暗算，幸亏元胄护卫，才幸免于难，于是诛杀赵王招、越王盛。五个王见自己无法与杨坚抗衡，便秘密联系在外的另一个王起兵，但不久便被杨坚打败。宗室势力被消除后，杨坚的皇帝之路平坦了许多。