杨坚到了晚年，不再那么胸怀宽广，不再那么轻易宽恕别人，而是变得猜忌，变得眼里不揉沙，变得动不动就杖责他人。
虞庆则、史万岁等功臣故旧，先后被杨坚杀了，此外，法制逐渐遭到破坏，用法“不复依准科律”，颁布诸如“盗一钱以上皆弃市”、“三人共盗一瓜，事发即死”之类的苛刻刑法，百姓惶恐。
他还热衷廷杖，“每于殿廷打人，一日之中，或至数四”。甚至，对于亲儿子杨俊，他也不轻饶。
秦王杨俊灭陈回来之后，封为并州总管。
这时的他，开始奢侈了起来，违越制度，建立豪华的宫室。同时，也开始好色了起来。他这样一好色，他的老婆崔氏，内心就受不了，再加本性好妒，于是，在瓜中放毒，要毒死杨俊。所幸杨俊命大，没有毒死，只是被毒病。
杨坚听闻消息，便把他征还京师。
他认为，一切都是杨俊奢侈生活引起，于是，免了杨俊的管职。
而崔妃以毒害杨俊的罪，被废绝，赐死于家。
左武卫将军刘升进谏说：“秦王没有其它什么过错，就是奢侈一点而已，我觉得可以宽容他！”
杨坚听了说：“法不可违。”
杨素也进谏说：“秦王之过，不应至此，愿陛下详之！”
杨坚说：“我是五儿之父，就不是百姓的父亲吗？如果像你说的做，何不给天子的儿子们另外制一部法律？以周公的为人，尚诛管、蔡，我诚不及周公远矣，安能亏法乎！”
所以，他坚持惩罚杨俊。
他这样做，当然没有错，但是，也说明了杨坚开始容易猜忌苛刻了。
这样一来，就给了杨广谋夺太子位置的机会了！
历史上的杨广是非常残暴昏庸的皇帝，我们抛开他做皇帝后的行为，且看他做皇帝前的行事，可以看出来，他是非常厉害的人，无论智商，还是情商，都非常的高。
杨广想要谋夺太子的位置来做，是非常难的一件事，因为，必须要解决以下四个人。
第一个是隋文帝杨坚，杨广必须要使得他父亲对太子杨勇不满，有废掉他的心思。我们知道，杨坚是非常英明的君主，知道废嫡立小的危害，不会那么轻易废掉太子。
第二个是他的母亲独孤皇后。杨广是他的亲生儿子，杨勇也是她的亲生儿子，她也非常疼爱杨勇，所以，杨广想要母亲不满哥哥，也是非常难的事。
第三个是高颎，他身居宰相，地位极高，而他又是拥护杨勇的，所以，要他主张废掉太子，简直比登天还难；
第四个杨素，他也身居高位，深得杨坚的重用。他是杨广最容易争取到的人，因为，他和杨广一起攻打过陈朝，有过交情。
杨广首先去找杨素说明他想夺取太子位置的计划，杨素很快站在了他这一边，因为，杨勇做皇帝的话，重用的，必定是高颎；而杨广继位的话，重用的，必定是自己！权衡利益，他决定拥护杨广。
杨广解决了这第四个人后，接着要解决的，就是高颎。
这个高颎是独孤信的手下，一直得到独孤信的信任，他还把高颎的姓改为孤独氏，让他成为自己人。独孤伽罗成为皇后之后，高颎也因此得到了重用。
高颎对独孤氏忠心耿耿，对隋朝也忠心耿耿，他坚决不会赞成废掉太子的！
所以，对待高颎，杨广是不能争取，只能废除！
而能废除掉高颎的，只有杨坚和独孤皇后！
杨广首先从独孤皇后这里寻找突破点！
高颎不废，他这个想夺取太子的计划，就不会成功！
他等来等去，终于等来的机会，那就是一向谨慎的高颎，终于说错了话！
杨坚因为宠幸的宫女被皇后杀了，由此大怒，单骑从苑中奔出，不由径路，入山谷间二十余里。
高颎和杨素等忙追了上去，拦住马，苦苦进谏。
杨坚叹息说：“我贵为天子，不得自由！”
这时，高颎为了安慰皇帝，说了一句得罪皇后的话：“陛下岂以一妇人而轻天下！”
——皇上，你怎么能因为皇后这么一个妇人而放弃天下呢！
杨坚听了，“意少解”，心里好受了一点，然后，驻马良久，半夜才回到皇宫。
独孤皇后对待高颎本来非常好的，因为他是父亲独孤信留下来的人，是她自己人，所以，他经常去高颎的家。
可是，如今对高颎有意见了，因为他在杨坚面前说自己就是一妇人而已！
她对高颎，开始疏远了起来，心里也有了恨意。
一个人，对另一个人有了恨意，那么，对他只会越看越不顺眼，觉得他什么都做不对。
独孤皇后对高颎看不顺眼后，在皇帝那里，也开始说起了高颎的坏话。
杨坚也慢慢对高颎不满意了起来。
有一次，杨坚下令选东宫卫士，也就是太子的卫士，进入上台守卫。
高颎马上奏称：“如果把强壮的都选走，恐怕东宫的宿卫太差了！”
杨坚听了，脸色马上变了，说：“我有时出入，宿卫须要勇毅的。太子毓德东宫，左右何必须要壮士！这是极错的做法！”
此时的杨坚，已经不给高颎面子了！
高颎的老婆死了，独孤皇后对杨坚说：“高仆射年纪大了，而他又死夫人，陛下怎能不为他再娶一个？”
杨坚便把皇后的话告诉了高颎。
高颎也知道和皇后关系不好，她要娶个妾给自己，肯定是她的人，当下流涕婉谢说：“臣今已老，退朝，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”
杨坚听了，便没有赐妾给他。
不久，高颎和他的爱妾，生了个男孩。
杨坚听了之后，很高兴。
独孤皇后却很不高兴，杨坚问她缘故。
独孤皇后说：“陛下还能再信任高颎吗？起先，陛下想要为高颎娶妾，而高颎却心存爱妾，面欺陛下。如今他今他的欺诈已见，怎能再信任他！”
杨坚听了，想起高颎说的话，说什么老婆死了，自己只有斋居读佛经而已，如今连儿子都生出来了！真是岂有此理！哪里是什么斋居读佛经，分明是和爱妾挑灯夜奋战！
杨坚由此疏远高颎。
杨广铲除高颎的计划，开始要实现了！