杜衍是宋仁宗時期最負盛名的賢相之一，資歷深，口碑好。慶歷七年(1047年)，杜衍上書請求掛印退休，得到了宋仁宗的批準。

杜衍為政清廉，平時從不營殖私產，比如利用手中權力購置良田、經營房產什么的，以至于退休后，連幾間像樣的房子都沒有，只好寄居在南京應天府(今河南商丘市)的回車院。宋代各地都建有回車院，有的作為官員卸任后等待接任者到來的臨時住所，有的作為驛站，相當于官員招待所。

杜衍在回車院一住就是十年，吃住簡陋，卻從無抱怨。杜衍不好酒，即便有客造訪，也不過“粟飯一盂，雜以餅餌，他品不過兩種”(宋代鄭景望《蒙齋筆談》)，簡簡單單，絲毫沒有玉食笙歌的做派。杜衍一向為人低調，退休后的他，更是樸實如田夫野老，有人勸他著居士服，他卻說：“老而退休，哪能以高士自居呀！”他或出游，或讀書，或吟詩，還開始練習草書，追求精神的豐富，不追求物質的奢華，過著清貧自樂的生活。

然而，低調做人的他，在退休的日子里卻發生了兩件讓人啼笑皆非的事情。

據宋代朱彧《萍洲可談》記載，一次河南府(今河南洛陽市)舉行宴會，作為退居二線的老領導，杜衍應邀出席。酒席筵前，杜衍戴著居家便帽，穿著深色便裝，端坐一隅，不作聲響。

事也湊巧，河南府太守有事出去一會兒，府里的差役又不認識這位曾經名聲顯赫的老宰相，這時，門口的差役報本路“運勾”到。當時的“路“相當于現在的省，河南府隸屬京西北路，運勾是京西北路轉運使司屬官，相當于財政或稅務廳領導，官不大，實權大。于是，大家紛紛起身，向這位財神爺打招呼，套近乎。

運勾是個年輕人，靠長輩的恩蔭當上了轉運司官員，少年得志，職務不大脾氣卻不小，見一位糟老頭既不打躬又不作揖，像釘子一樣釘在凳子上不動，不禁火冒三丈，厲聲問：“足下前任甚處？”杜衍頭也不抬，輕聲回答：“同中書門下平章事(宰相)。”真是不鳴則已，一鳴驚人，年輕的官員頓時面紅耳赤，呆若木雞。

還有一次，一位名列前茅的新科進士，被朝廷安排到邊關出任副職，路經應天府，知府王舉正得知他才華出眾，年少登科，估計前途無量，便把府里那些“牙兵寶轡旌鉞”全部安排出來，為這位新貴禁衛開路。應天府的街道上頓時熱鬧了起來，只見彩旗飄飄，鼓聲陣陣，場面盛大，引得老百姓側目圍觀，紛紛猜測這是哪位朝廷要員來視察呢？

正好杜衍出門歸來，與新貴的隊伍狹路相逢，無路可避，杜衍便拉下帽檐，豎起衣領，放慢馬步，靠邊讓路。兩個仆人也拉住馬，停于路旁。然而，新貴卻因杜衍一行沒有下馬而十分惱怒，沒好氣地問身邊的隨從，這是誰呀？隨從回答，這是退休宰相杜太師啊……

據《宋史·杜衍傳》記載，杜衍逝世之前留下遺言，囑咐兒子們在自己死后不得鋪張，僅以一枕一席、低小的墳墓殮葬。雖然位極人臣，他人之將死還如此低調行事，無疑給那些一得志就忘形的人上了很好的一課。