楊堅除了他的成就，還有很多的缺點，如喜怒無常，猜疑心重，容易受讒言所惑，時常命令左右窺視臣下，如有過失，則加重罪。這是文帝的短處，并且因而貽害子孫。

猜疑忠臣最典型的是高熲。楊堅的妻子獨孤氏是北周重臣獨孤信的女兒，而高熲的父親則是獨孤信的屬下，還被賜姓獨孤。所以，楊堅和高熲的關系也非同一般。而且后來在楊堅建立隋朝時，高熲立下了汗馬功勞。楊堅稱帝后，高熲被任命為尚書左仆射，為重臣之一。

楊堅對高熲極為信任，甚至把他當成自己的鏡子，說他可以糾正自己的過錯。如果有人進讒言誣陷高熲，楊堅從來都不相信，反而把告狀的人治罪。高熲的官職已經無法再往上封了，可見在楊堅的心目中高熲的重要性。但在以后對于立太子的問題上，兩個人發生了矛盾。

當時，楊堅對楊勇已經不滿，打算立善于偽裝，博得他和獨孤皇后信賴的楊廣為太子。但高熲并沒有覺察楊堅的意思，極力反對廢立太子。楊堅認為是高熲在為私利和他作對，因為高熲的女兒是楊勇的妻子，如果以后楊勇即位，那高熲作為岳父，其地位之高可想而知，說不定會效仿自己，取代隋朝自立為帝。因為楊堅是通過外戚這個身份奪取帝位的，所以對于高熲的位置的敏感性極強，但高熲卻沒猜到楊堅的這些想法。

楊堅后來借處理另一個大臣王世積時，將高熲牽連進去，但只是免了官職，廢為平民，沒有置他于死地。

楊堅在晚年的猜疑有時顯得很可笑。他為了禁止官員貪贓受賄，竟派人去向官員行賄試探，如果有人敢收下，就立即處死。

有次，一個武官的衣服和佩劍不太整齊，楊堅就說是對他的不敬。他不是治武官的罪，而是說御史沒有盡到責任，因為御史是專門監督官員的。所以，楊堅就處死了御史，諫議大夫站出來勸止楊堅，竟也搭上了性命。

早期立法有功勞，晚年壞法有過錯，這就是楊堅的前后對照。楊堅晚年還大量使用法外酷刑，即杖刑，在宮廷里就經常放著棒子。后來，高熲勸說之后，楊堅曾經把杖棒廢除，但他打人時嫌鞭子抽打力量太小，于是，又恢復了杖刑。

在中國古代社會，行刑一般要在秋天，叫順應天意，即秋天葉子要落，氣氛肅殺。而春天萬物復蘇，要生長了，這時嚴禁獵殺動物，不許破壞幼小樹木。總起來說，就是春夏行賞，秋冬處罰。楊堅在晚年時卻破壞了這種歷來的習慣，在夏天時就要殺人，有大臣反對，他狡辯說，夏天時老天爺有雷電暴雨，這也是天意在發怒。

楊堅的迷信程度很重，不但信佛教、道教，還信陰陽五行、鬼怪、符瑞、土地神、山神，還有龍王，他都信。在北周時候，武帝曾經滅佛，楊堅這時則予以恢復，下令百姓可以自愿出家。楊堅在各地大建佛寺，正因如此，隋唐的佛教才興盛起來。

楊堅文化程度不高，認為文化沒用，學校也沒必要。到了公元601年，楊堅便將郡縣的學校全部廢除，只留下了中央的國子監，供官員貴族子弟們讀書。