抗戰期間，蔣介石去成都，在楊森家里逗留半日，他發現楊森家里進進出出的婦女不少，深感驚訝，便問楊森：“這些都是你的妻子嗎？”楊森朗聲回答：“報告委員長，屬下身體很好！”蔣介石大笑。

楊森主持四川政務時，連農民進城挑糞也要抽稅。西南聯大師劉師亮特作一聯諷刺說：“自古未聞糞有稅，而今只有屁無捐。”橫批是：“民國萬稅(歲)”。四川軍閥楊森斂財手段五花八門，通過投資地產、開辦公司、販賣煙土等賺錢。他在英、美和日本的銀行都有巨額存款。重慶、漢口、上海等地有豪華的公館，富得冒油。這些錢財正是他玩弄異性、滿足淫樂的資本。

楊森，字子惠，原名淑澤，又名伯堅，他一生追求洋氣和新潮，同時，還是民間秘密組織袍哥會的一名舵主。

楊森在國民黨軍閥中，以妻妾成群，兒女眾多而出名，他公開的妻妾有12位，子女共有43人。

楊森的第一夫人是其發妻張氏，這是典型的父母之命，媒妁之言。成婚之初，倆人感情甚篤，張氏孝順體貼公公婆婆，善待小叔小姑，又能勤儉持家，在楊家內外口碑甚好。后來，楊森考入成都陸軍速成學堂后，張氏暴病身亡。

1908年，楊森從軍校畢業后，遵從父母意愿，續弦廣安老家的譚正德填房。譚氏為其育有長子、長女。楊森妻妾成群后，譚氏被冷落，獨自守著廣安老家偌大的宅院，孤影清燈，以92歲高齡謝世。

張靈鳳，臺灣新竹人。楊森年近90歲時，以招募秘書為幌子，將這位17歲的中學生弄進府中，完成了他人生的最后一次姻緣。

面對如云的妻妾，成群的子女，為了杜絕妻妾爭寵，楊森采用平衡原則，與眾多妻子睡覺的時間安排，楊森采取所謂的“輪宿制”，而且，為了不至于發生錯亂引起紛爭，他特派一名副官專門安排時間表，一切按表操作。

有一次，楊森在湖南督戰，當天正輪到與留在成都的夫人同宿，這位副官跑來請示當天可不可“輪空”，等回成都后再補上。楊森考慮再三，為了不亂套，特別報告戰區司令官薛岳，派出專機飛往成都把他的那位夫人接過來，睡一晚然后返回成都。一旦妻妾懷孕，即憑醫生證明領取五千元生活費，倘使順利產下子女，則可領取存于國外銀行的補助費兩萬元。同時，還可以為子女領取一份豐厚的田產。

楊森自己隨心所欲、放蕩不羈，而對妻妾卻管束甚嚴。為了維持家庭秩序，他治家如整軍，采用軍事化管理，分工明確，各有專司，無一賦閑，每人每月還領薪水若干。稍有觸犯，便會遭到楊森無情的鞭笞。對于這些，楊森頗為自得，他多次向其他軍閥介紹經驗，大言不慚地說：“我實行的是軍事化管理，不然那屋子人，咋個鎮得住嘛。”

在眾多的軍閥中，楊森經歷了辛亥革命、護國戰爭、軍閥混戰，抗日戰爭等歷史時期，最后逃到了臺灣，以九十六歲高齡壽終正寢。