楊森是出了名的多妻多妾。從軍期間，除了打仗，其餘的心思就放在美女身上。據悉，只要是楊森看中的女人，最後都會成為他的妻妾。
曾有傳說稱，有一次蔣介石到楊森家裡做客，看到家裡到處是美豔女人後很是震驚，詢問楊森：這都是你的女人？楊森毫不掩飾地承認了，還帶著一絲驕傲，成功逗笑了蔣介石。雖然不知道這個傳說是否是真的，但楊森的好色肯定是事實。
楊森的第一個妻子是張氏。在那個時代，大部分婚姻是父母之命媒妁之言，所以張氏和楊森稱不上有多麼深厚的夫妻感情。不過，張氏可以稱得上是一位稱職的妻子，孝敬楊森父母，賢惠溫柔。可惜紅顏早逝，楊森進入陸軍速成學堂後，張氏因病去世。楊森十分悲痛，為了紀念妻子，他重用了張氏的兄弟張元培。
1908年的時候，楊森和譚正德再婚，生育一兒一女。可後；來楊森有權有勢，身邊女人無數，譚正德被冷落，空守廣安舊宅直到去世。
根據記錄，從1913年開始，楊森不斷納妾，擁有了十幾個姨太太。當時，外界都在流傳楊森擁有了一個楊家金陵十二釵。
楊森制定的家規相當嚴格
姨太太過多也是件煩惱事，為了防止她們爭風吃醋，楊森下令每個老婆輪流陪住。此外，楊森嚴格要求每個人早起參加訓練，禁止打牌、跳舞、酗酒等不良嗜好。家裡任何東西，姨太太不允許擅自動用。每個月，姨太太和孩子可以領取一定數額的家用。
楊森雖然好色，但制定的家規是非常嚴格的。比如，在吃飯的時候，孩子必須做禱告，感謝父母給他們提供吃食，還承諾會好好做人，將來報效父母。另外，楊森還會請來老師，教姨太太們學習英語、鋼琴等。
楊森是否會處置出軌的姨太太的
看到這裡，大家肯定以為身為楊森的姨太太很享福，其實並非如此，有的姨太太結局是非常悲慘的。楊森的女兒曾回憶，父親有兩個姨太太是被他親手槍殺，還有一個被活活逼瘋。
就好比說楊森的七姨太曾桂枝。她本來是楊森的養女，可隨著歲月的流逝，曾桂枝長成了一個亭亭玉立的少女，楊森動了春心，在她14歲的時候納入府中。
由於外貌出眾，加上後天的學習，楊森經常帶著曾桂枝出席社交場合。漸漸地，曾桂枝和楊森之間產生代溝，並在學校裡愛上了自己的同學，兩人開始戀愛。楊森得知這一切後，先是裝作不知道。曾桂枝主動開口希望楊森給心上人安排工作，計劃好一切打理好後就私奔。楊森表面上同意了，可暗中安排殺手在路上等著。最後，曾桂枝就和心上人先後死於楊森手下之手。
楊森在90歲高齡的時候，依然不忘納妾，迎娶了17歲的張靈鳳。訊息一出，引起了臺灣方面的轟動。
有一次，張靈鳳問楊森，一生娶了12房太太，有幾個是心甘情願的？楊森的回答是這樣的，很多人是看中了自己的權勢，並非是發自真心跟自己。但即便如此，自己依然是真心對待她們的。張靈風還提到了曾桂枝，楊森表示，正是因為自己在乎她們，得知自己遭到背叛才會下狠手。
