高熲因为废太子一事得罪了独孤皇后,又因独孤皇后见高熲的正妻去世了,让隋文帝安排给高熲续个正妻,但是被高熲已年老为理由拒绝了。结果这之后高熲的姬妾却怀孕还生了个儿子,独孤皇后认为高熲这是犯了欺君之罪,隋文帝就将高熲贬为庶人。
高熲也叫独孤熲,因高熲的父亲是独孤信门下的政客,因此高熲被独孤信赐独孤姓氏,按理说高熲和独孤迦罗都姓独孤,应该亲近一些,然而独孤皇后却不喜欢高熲。高熲当时是隋朝的宰相,太子杨勇也是有意拉拢,杨勇就把自己的女儿许配给了高熲的儿子,两家人结成了亲家。后来杨勇宠妻妾而抛弃正妻,被独孤皇后所厌恶,就让隋文帝废黜了太子杨勇而改立杨广为太子,高熲当然不同意,强烈反对独孤皇后的做法,因废太子一事,独孤皇后和高熲渐生嫌隙。有一次隋文帝被独孤皇后气得离宫出走,高熲去追隋文帝,并对隋文帝说:“陛下何苦因为一个女人,就不顾自己的江山社稷呢?”隋文帝听完高熲的劝告,才心生宽慰回宫了。因高熲的劝告,独孤皇后对隋文帝的后宫嫔妃之事,才渐渐放开手,不再管得那么严,独孤皇后也更加讨厌高熲。
高熲的正妻去世后,独孤皇后和隋文帝打算给高熲续娶个正妻。而高熲却称自己年事已高,不想再娶了。独孤皇后和隋文帝只好作罢,哪曾想之后不久高熲的小妾就生下一子,这可把独孤皇后气坏了。因独孤皇后最烦那些只宠爱姬妾,而抛弃正妻的男人。独孤皇后在隋文帝面前议论高熲,因此在独孤皇后的影响下,隋文帝也渐渐疏远了高熲。
高熲不再被隋文帝信任和重用,之后被免去宰相官职和齐国公爵位。得罪了独孤皇后,就等同于得罪隋文帝,一代名臣高熲最终沦为平民,一定程度上也奠定了隋朝的结局。