罢免高熲的数日后，杨坚前往秦王杨俊府邸，顺便召高熲过去赴宴。席间，高熲泪流不止，悲不自胜，在座的独孤后也忙不迭地抹了好几把鳄鱼眼泪。杨坚看着高熲，面无表情地说：“朕并没有辜负你，是你自己辜负了自己。”然后把头转向左右大臣，进行了一番语重心长的政治教育：“我对高熲，比对自己的儿子还好，虽然有时候没和他在一起，但总感觉他就在眼前一样；可自从他免职退休后，我就彻底把他忘了，好像世上从来没有高熲这个人一样。所以说，身为人臣，一定要吸取高熲的教训，不可以要挟君王，自以为天下第一。”听见皇帝如此绝情的话，高熲当然哭得更悲伤了。
然而，紧接着发生的这件事情，差点让他连哭的机会都没有了。
高熲府上的总管，发现主子已经失势，这辈子跟着他混绝对没有出头之日，於是就义无反顾地出卖了他。这位总管上疏杨坚，指控高熲父子有谋反之心。他提供的证据跟皇甫孝谐如出一辙，也是“对话体”。他说，高熲退休后，某一日，其子高表仁曾对高熲说：“曹魏年间，司马仲达（司马懿）曾托疾不朝，可后来司马家族却取得了天下，父亲大人如今遭遇的事情，又焉知非福呢？”可想而知，杨坚听到这样的话会愤怒到什么程度。他当即把高熲逮捕下狱，命有关部门严加审理。在这个世界上，“有关部门”是最擅长罗织罪证的，只要领导一个眼色，要给嫌疑人整出什么稀奇古怪的罪证，都是小菜一碟。
於是，有关部门很快就找到了两个证人，一个是和尚真觉，一个是尼姑令晖。据称，真觉曾在去年对高熲说：“明年将有国丧。”令晖几年前也对高熲说过：“开皇十七、十八年，皇帝有大厄，十九年不可过。”两个人说的意思一样，都是预言杨坚活不过开皇十九年。
天知道有关部门是从哪找出这两个信口开河的方外人士的，总之他们的证词杀伤力十足，绝对够得上把高熲满门抄斩了。杨坚闻奏，愤怒欲狂，遂在朝会上声色俱厉地对满朝文武说：“帝王岂是靠强力可求？以孔子这样的大圣之才，犹然得不到天下，而高熲和他的儿子，竟然敢以晋朝皇帝自比，这是什么样的居心？！”有关部门随即上奏，要求将高熲斩首，以明正典刑。
不过，最后时刻，杨坚还是起了一念宽大之心。他答覆说：“去年杀虞庆则，今年斩王世积，如果再杀高熲，天下人将会怎么说我？！”遂宣布将高熲贬为庶民。
十九年前，高熲刚刚当上左仆射时，他母亲就曾语重心长地告诫他：“你富贵已极，就差一个砍头了，今后做人做事，一定要慎之又慎。”老人家没当过官，可她朴素的话语里面却蕴涵着深刻的政治智慧。从那一天起，高熲就常常担心母亲的话会一语成谶，所以一直谨慎小心。可是，在杨坚这样的老板手底下打工，你是防不胜防的，不管再怎么小心，都很难保证不出纰漏。所以，当高熲经历了一番生死考验，最后终於躲过“砍头”的命运后，一种如释重负、彻底解脱的感觉便在他心里油然而生。
尽管打拚了一辈子，风光了一辈子，最后却像抛物线一样被扔回了“庶民”的原点，可高熲却因“得免於祸”而“欢然无恨色”。说到底，能给杨坚这样一个动不动就“激情杀人”的老板打工这么多年，不仅轰轰烈烈地干过一番事业，最后还能保一个善终，已经是一项了不起的成就，更是一件值得庆贺的事了，所以高熲深感知足，无怨无尤。
然而，高熲的故事并没有到此结束。他本以为能在家里安度一个含饴弄孙、优游卒岁的晚年，可短短几年后，随着新老板杨广的上台，高熲宁静的生活就被打破了。
杨广一即位，就任命高熲为太常，让他主管礼乐。这本来是个清闲的职务，既不参与朝廷大政，也无关乎经济民生，可高熲这人就是责任心太强，你不让他做事倒也罢了，要是让他做事，他必定要负起责任，而且很有主见。所以，刚一上任，他就跟杨广闹了个不愉快。
当时，杨广下诏征召北周、北齐时代的音乐人，并鼓励民间搜集整理一些流传不广、即将失传的乐曲。这本来也不是什么坏事，可高熲却认为那些民间乐曲不够“主旋律”，遂上疏反对，说鼓励这些乐曲传播是“弃本逐末”之举。对此，杨广当然极为不悦。
不久，高熲又对自己的下属说：“周宣帝就是因为喜好那些靡靡之音才丢了天下，如今殷鉴不远，岂能再重蹈覆辙！”杨广听说后，更是一肚子不爽。
高熲担任宰相多年，如今虽说早已靠边站，只是个不痛不痒的太常，可还是改不了心忧天下的习惯。由於当时杨广对突厥的启民可汗恩礼甚隆，高熲就忍不住对同僚发牢骚说：“这个蛮虏在中国待了这么久，对我国的虚实和山川形势了如指掌，我担心会有后患。”此外，由於当时朝中的风气与隋文帝一朝已有很大不同，高熲看不惯，就对观王杨雄说：“近来朝廷越来越没有纲纪了。”这些话当然原封不动都落尽了杨广的耳中。
杨广顿时忍无可忍。
於是，高熲的末日就此降临。
早在开皇九年平灭陈朝时，高熲就曾不顾杨广的感受，杀了他的梦中情人张丽华，而当时杨广也曾意味深长地说过一句话——将来一定要好好“报答”高熲。
如今，报答的时机终於成熟了，杨广当然不会放过。
大业三年（公元607年）七月，杨广下诏，以“诽谤朝政”为名，将高熲斩首，三个儿子全部流放边地。与高熲同日被杀的，还有时任光禄大夫的贺若弼、与时任礼部尚书的宇文弼。
多年以前，高熲之母对他的谆谆告诫，最终还是变成了现实。当刑场上的铡刀高高举起的那一刻，高熲也许只能在心里发出这样的哀叹——隋朝的员工不好当啊！
高熲死时，年六十七。
盖棺论定之际，历史给了高熲很高的评价：“熲有文武大略，明达世务。及蒙任寄之后，竭诚尽节，进引贞良，以天下为己任；苏威、杨素、贺若弼、韩擒虎等，皆熲所推荐，各尽其用，为一代名臣；自余立功立事者，不可胜数。当朝执政将二十年，朝野推服，物无异议，治致升平，熲之力也，论者以为真宰相。及其被诛，天下莫不伤惜，至今称冤不已。”（《隋书·高熲传》）