但之后，史万岁却逐渐倒向了杨勇。或许是史万岁不甘心在杨素之下，也或许是史万岁认为杨坚年事已高，杨勇就要登基，他急着谋划退路。但这一跳反让他给杨广、杨素成了死敌。
当初史万岁因爨翫叛乱之事被问罪，杨坚要处死他时，也是左仆射高颎和左卫大将军元旻等为他说情的。
杨义臣也不好明说黄明远跟朔州军的矛盾，只是含糊地说道：“当日大同之战，黄明远久候朔州总管赵仲卿部不至。后来黄明远得胜，高相国也因此出事，赵仲卿被圣人免职······”
这时史万岁也反应过来，郑言庆在恒安镇就是个孤家寡人，是根本不可能知道行军计划的。