，同时在长安城内设立消息通道。要说杨广没有对大哥的太子之位在背后玩花样，那也是不可能的。
据说杨广奉命到江南任扬州总管时，临走前，进宫觐见母亲孤独皇后时，说了一番掏心的话后，杨广伏地痛哭，独孤皇后见状，也不免潸然泪下。杨广说：“臣镇守江都，将要告别母后，臣心中时刻思恋母后，今日一别，不知何时相见，心中甚感凄凉。”
而后杨广又在母亲面前烧了一把杨勇的火，说：“臣虽然愚笨，但还会常念手足之情，不知什么原因，招致了东宫的怨恨，以致对我常怀盛怒，欲加害于我，想置臣于死地，因此我整日提心吊胆，不知死于何时。”
独孤皇后听了杨广的话之后，气涌心田，愤然道：“东宫也太不像话了。我为他娶的元家女，指望他继承大业，竟不好好做夫妻，专宠云氏。元妃本无病痛，忽然暴亡，肯定是有人将她毒死了，这件事情我没有追查就算了，他为什么又要在你身上打主意？我在的时候都这样做，我死了，那就更加不得了了。如果你的父皇去世之后，他命你等兄弟向那个小妖精下跪问安，这是何等耻辱！”独孤皇后就此打定主意，要废杨勇，立杨广当太子。
还有就是让杨素为自己讲好话，杨素的弟弟杨约当时是大理少卿，杨素凡是要做什么事，都先和杨约商量后再做。杨广心腹宇文述邀请杨约，陈设了许多玩物器皿，和他一起畅饮，一起赌博。每次宇文述都装作下输了，把杨广所送的金宝都输给了杨约。杨约得到很多金宝，就向宇文述略表谢意。宇文述就说：“这些金宝是晋王杨广的赏赐，让我与你一起玩乐的。”杨约大吃一惊，说：“为什么？”宇文述就转达了杨广的意思，劝说杨约：“恪守常规固然是人臣的本份，但是违反常规以符合道义，也是明智之人的期望。自古的贤人君子，没有不关注世情以避免祸患的。你们兄弟功名盖世，执掌大权有多年了，朝臣中被你见侮辱的人数得清吗？还有，皇太子往往想做的事而不能做到，常常切齿痛恨当政的大臣；您虽然主动地结好于皇上，但是要危害您的人本来就很多啊！皇上一旦弃群臣而去，您又靠谁来庇护呢？现在皇太子不为皇后所喜爱，皇上平素就有废黜皇太子的意思，这您是知道的。现在要是请皇上立晋王杨广为太子，那就全凭您哥哥的嘴了。要是真能在这时建立大功，晋王必定永远将这事铭记心中，这样您就可以去掉累卵之危，而地位象泰山一样的安全稳固了。”杨约深以为然，就将此话告诉了杨素。杨素听了，非常高兴，拍着手说：“我的智慧思虑远远达不到这儿，全仗你启发了我。”杨约知道他的计策成功了，又对杨素说：“现在皇后的建议，皇帝无不采纳。应当趁机会早早自动结交依靠皇后，就会长久地保住荣华富贵，并传给子孙后代。兄长若是迟疑，一旦情况发生变化，太子执掌朝政，恐怕灾祸很快就要临头了！”杨素听从了杨约的话。
过了几天，杨素进入皇宫侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，像他父亲一样。”用此话来揣摩独孤皇后的意思。独孤皇后流着泪说：“您的话说得对！我儿子阿麽（杨广）常孝敬友爱，每次听到皇上和我派宫内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻子也很令人怜爱，我派婢女去她那里，她常与婢女同寝共食，哪像睍地伐（杨勇）整天沉溺于酒宴，亲近小人，猜疑防备骨肉至亲！所以我愈加爱怜阿麽，常常担心睍地伐将他暗害。”杨素了解了皇后的意思，因此就竭力地说太子杨勇不成器，于是皇后就给杨素财物，让他辅佐杨坚进行废立太子之事。
其实归结起来，杨勇被废的原因有三点。一是杨勇的太子势力太过于庞大，对于杨坚尤其是后来年老的杨坚来说并不安全，所以杨坚在早些时候便开始有意识地消减打压他的势力；二是杨勇的人品、生活作风不受父母杨坚夫妇的喜欢，甚至厌恶；三是杨勇的兄弟尤其是杨广太优秀并且后面对其下了黑手，使其在相比之下更为差劲。
第三十三章 杨坚诸子
杨勇被废后，杨广就被立了。这杨勇被废有原因，而这杨广被立又有什么理由呢？
我们先来看看杨广的竞争对手，即杨坚的其他儿子杨广的兄弟们。因为孤独皇后的原因，没有其他女人为杨坚生过孩子；所以杨广和他的兄弟都是一母同胞的亲兄弟。这作为皇帝的杨坚也曾自豪的对群臣说：“前世皇王，溺于嬖幸，废立之所由生。朕傍无姬侍，五子同母，可谓真兄弟也。岂若前代多诸内宠，孽子忿诤，为亡国之道邪！”
除了老大杨勇老二杨广之外，还有就是老三杨俊、老四杨秀、老五杨谅。
其中老三杨俊。开皇元年（581年）时立为秦王，二年（582年）春，拜上柱国、河南道行台尚书令、雒州刺史，时年十二岁。加右武卫大将军，领关东兵。三年，迁秦州总管，陇右诸州都归他管理。杨俊生性仁恕慈爱，崇敬佛道，曾经请求去做沙门，杨坚当然不准。六年（586年），升为山阳道行军元帅，督三十总管，水陆十余万，屯汉口，为长江上流节度；开皇九年（589）配合二哥杨广平定南陈。后来杨坚授他扬州总管四十四州诸军事，镇守南陈旧地。过了一年多后，因南陈旧地爆发全面的叛乱杨坚就转任他为并州总管二十四州诸军事。
起初，杨俊颇有作为，因此让杨坚相当高兴，甚至下过旨奖励他。但之后他开始渐渐奢侈起来，还有违反制度的行为，放起高利贷，让他的辖区人民官吏大感痛苦。于是杨坚派使者去调查，结果因为杨俊的事获罪的官吏达百余人。即使如此，杨俊还是不改他的行为，继续建筑豪华的宫殿，穷极奢侈与华丽。每当他有特别的巧思时，就亲自拿起工具制作器具，并拿华丽的珠宝玉石去装饰。还为他的妃子制作七宝幕篱与水殿，香涂粉壁、玉砌金阶，梁柱之间又以明镜环绕、装饰宝珠，极尽华美之所能事。只要有宾客与妓女来的时候，杨俊便与他们在这里一同弦歌。
杨俊喜好美女拥有还多有姬妾，然而他的王妃崔氏善妒，为此愤愤不平，便在瓜中下毒，杨俊因此身体不适，回到京师长安。杨坚因为他生活太奢侈骄纵，便将他的官位都免去，让他纯粹做一个亲王，要他安份地待在他的王府里。左武卫将军刘升进谏说：“秦王非有他过，但费官物营舍而已，臣谓可容。”杨坚答曰：“法不可违”。刘升本还想劝说，看到杨坚真的生气后才识趣的沉默了，之后杨素也觉得杨俊受到的惩罚有点太重就进言到：“秦王之过，不应至此，愿陛下详之”。对于这位朝廷重臣杨坚不像对刘升一样直接地拒绝而是解释道：“我是五儿之父，若如公意，何不别制天子儿律？以周公之为人，尚诛管、蔡，我诚不及周公远矣，安能亏法乎？”最后还是没有恢复杨俊的官职。
后来杨俊的健康状况越来越差，已经不能起床，便请使者上表陈述。杨坚对他的使者说：“我戮力关塞，创兹大业，作训垂范，庶臣下守之而不失。汝为吾子，而欲败之，不知何以责汝”！杨坚的话弄得杨俊惭愧的同时感到恐惧使得病情更加的严重。后来大都督皇甫统上表，请求恢复杨俊的官职，但仍没有得到同意。一年多以后，杨俊病危，杨坚这才恢复他上柱国之位。
开皇二十年六月二十日，杨俊薨于仁寿宫。杨坚废朝而悼伤，独孤皇后辍膳而摧痛。杨俊所有华丽奢侈的遗物，杨坚下令全部烧掉，并命令送终的用具都一定要俭约，才能让后世效法。王府的幕僚请求立碑纪念，杨坚说：“如果想要留名，记在一卷史书上也就够了，哪还需要用到石碑？如果子孙不能保存家业，以后石碑也不过是给人拿来做镇石而已。”
杨俊一生因杨坚安排有才之人的教导，在才能方面也可以说是能文能武，功业方面也算是有一定成就的。只是在后来像大哥杨勇一样犯了“公子病”，最后落得个被女人下毒弄死的下场。杨俊是杨坚最早死的儿子，而且他在很早的时候就不被杨坚重用，所以他根本不是杨广的对手。
老四杨秀。史书记载杨秀容貌奇特雄伟，有胆量有气魄，喜欢武艺，比较有个性。开皇元年（581），被立为越王，不久，徙封蜀王，任柱国、益州史、益州总管，都督二十四州诸军事。开皇二年（582）年，进位上柱国、西南道行台尚书令。592年，任内史令、右领军大将军。不久之后再度出镇蜀地，杨坚对于这个儿子也是派遣有才之人来教育辅佐他。杨秀出镇蜀地时日之久比二哥杨广镇守江南长，可谓是权倾一方。对于这个很有个性且并不太听话的儿子，杨坚也曾表示过担心，他对孤独皇后说：“秀必以恶终，我在当无虑，至兄弟必反。”
西南边境出现战事，大将军刘哙之奉命征讨。同时杨坚令上开府杨武通领兵跟进，作为后续部队。杨秀派嬖人万智光为武通行军司马，杨坚认为杨秀任非其人，谴责之。对此杨坚谓群臣曰：“坏我法者，必在子孙乎？譬如猛兽，物不能害，反为毛间虫所损食耳”。于是遂渐分化杨秀的权力。
开皇十三年，益州的总管长史元岩在任上死了。杨秀曾经想用蛮人作太监，又想将活着的死刑犯剖腹，取出死囚的苦胆作药。每次元岩都不听从命令，径直到蜀王宫中极力进谏，杨秀每次在认错之后，不再作这样的事，他畏惧元岩的为人，做事时每每遵循法度。元岩死后没有人压制的杨秀日渐奢靡骄纵，造浑天仪，多捕山獠充当宦官，车马衣服违反制度兴建宫殿比拟皇帝。皇太子杨勇被废，晋王被立，杨秀很是为杨勇愤愤不平