如今他膝下有两个儿子，分别是齐王杨暕，赵王杨杲。
杨暕很骄纵，亲近小人，做事不合法规，常派库狄仲锜、陈智伟等人寻求声色狗马。曾将乐平公主欲献给杨广的柳氏女子纳入府中，杨广得知后很不高兴。一次隋炀帝打猎，令杨暕用一千骑兵参加围猎。杨暕猎获许多麋鹿进献给隋炀帝，而杨广自己却未能获猎，便向随从官员发怒。随从们都说是因杨暕侍从阻拦道路，野兽不能前来。杨广因此动怒，命人查寻杨暕的过失。
杨暕之妃韦氏早亡，杨暕乃与韦妃的姐姐元氏妇（因嫁于元氏，故称元氏妇）私通，生下一女，外人都不知。杨暕暗中在府内设宴饮酒，并招看相之人让他遍视后庭，看相之人指着元氏妇说她将为皇后。当时杨广未立太子，杨暕认为自己按次序当立。又因其兄杨昭有三子，心中常常不安，暗中行使厌胜之术，后事情败露，杨广大怒，赐死元氏妇。从此杨广对杨暕的恩宠日益减少，杨广常令人监视杨暕府中事宜，杨广又恐杨暕发动政变，所给随从皆老弱之人。
所以杨暕在杨广的心中并不是合适的太子人选。
而杨杲却是一个不错的儿子，为人聪明，精通诗词，容貌不凡，而且特别孝顺，倒是一个太子的好人选，但是杨广心中却一直认为自己亏欠自己已故的长子元德太子杨昭甚多，所以对杨昭的三个儿子杨侑、杨桐、杨倓都特别宠爱，以此来弥补对儿子的亏欠。
现在杨侑落在了李密的手里，杨桐更是被王世充给杀了，三个孙子现在就只有杨倓在身边了。
所以他也有心思立杨倓为太子，但是却担心孙子已经震慑不住朝臣还有他的两个叔叔。
“你去宣裴矩和宇文士及来见朕。”
既然自己拿不定主意，杨广就决定听听这两位老臣的建议，然后再做决断。
裴矩和宇文士及两人在宫门口相遇，两人相互之间打了个招呼。
裴矩笑着问道：“宇文大人你说陛下此时召见我们有何要事？”
宇文士及坚持着一向谨小慎微的态度，摇头道：“我们见到陛下不就知道了。”
看着宇文士及这副三缄其口的模样，裴矩苦笑道：“我不过是私下和你聊聊而已，难不成老夫还会去陛下面前告你不成？”
虽然裴矩了解宇文士及内心的想法，但是面对老朋友还如此，这就有些过了。