因為胡蝶的行李物品丟了，找到了戴笠，而戴笠覬覦胡蝶的美貌，戴笠煞費苦心地將胡蝶弄到了自己身邊。可當時胡蝶的身邊還有她的丈夫潘有聲，想要霸佔胡蝶，必須要潘有聲從胡蝶身邊弄走。戴笠立即在昆明給潘有聲安排了一個待遇優厚的差事，把潘有聲給遠遠地支走了。當潘有聲離開後，戴笠立即就撕破臉皮，露出真面目。
身陷戴笠的魔爪，胡蝶曾經絕望過，但是，當她想到自己白髮蒼蒼的母親，想到家裡還有兩個年幼的孩子，想到深愛她的丈夫，她下定決心：一定要擺脫戴笠的控制，重獲自由！可是，戴笠有權有勢，胡蝶想要從他身邊逃脫，談何容易？胡蝶只能百般任性，萬種刁難，想讓戴笠知難而退。胡蝶想住西式的裝潢的房子，戴笠就給公館翻新，用的都是進口原材料，然後按照胡蝶的想法重新給她設計。胡蝶嫌棄房間裡的窗簾不好看，戴笠馬上把所有房間的窗簾都換成胡蝶喜歡的樣子。胡蝶故意提出各種無理的要求，而戴笠為了討好胡蝶，不得不耐著性子滿足要求。
當丈夫潘有聲從昆明回來後，發現妻子胡蝶失蹤了。正當潘有聲急著打聽胡蝶的下落時，上海青幫大亨杜月笙來到了他面前。杜月笙和戴笠的關係非同一般，兩人以兄弟相稱。見到潘有聲，杜月笙也沒有繞彎子，他開門見山地說，戴老闆要娶胡蝶了，我今天來，就是讓你趕緊和胡蝶辦理離婚手續，天下女人多得是，你不要敬酒不吃吃罰酒！可潘有聲並沒有屈服，他當即表示拒絕。這下可惹惱了杜月笙，他當即掏出了一把手槍，對準了潘有聲說，給你幾天時間，你好好想想吧！
為了一家老小的安全，潘有聲只好答應和胡蝶見面商量離婚事宜。當胡蝶和分離許久的丈夫見面時，兩人不禁淚如雨下。胡蝶對潘有聲說，姓戴的只能霸佔我的身體，卻霸佔不了我的心。這次見面似乎註定了這對夫妻從此咫尺天涯。然而，正當兩人準備被迫辦理離婚手續時，一個令人震驚的訊息傳來了。1946年3月17日，戴笠乘坐的專機失事，機毀人亡。戴笠一死，那個折磨了胡蝶兩年的噩夢，就隨著飛機的一聲巨響，煙消雲散了。胡蝶立即搬出戴笠的公館，回到上海和一家人團聚。
這胡蝶患難的日子裡，潘有聲一直站在她的身後，毫無怨言地守護她、支援她。當潘有聲提出去香港發展事業時，胡蝶毫不猶豫地捨棄了在上海的事業與地位，舉家遷居香港。來到香港後，胡蝶完全放下了演藝事業，和丈夫一起做起了生意，過著夫唱婦隨、怡然自得的日子。然而，這樣美好的日子，僅僅只持續了五年，丈夫潘有聲就因為患有肝癌，永遠地離她而去。
在《胡蝶回憶錄》中，有這樣一段文字：“我一向比較達觀，視人生猶如演戲，我常安慰我自己，在抗戰逃亡的日子裡，在湘桂大撤退中，總說苦戲會演完的，會苦盡甘來的，但這一次，我卻真正感到被命運之神逼到了人生的邊緣，看不到曙光，只感到有聲的逝去，帶走了我生活中的一切歡樂，一切生氣。”
丈夫去世後的七年裡，胡蝶沉浸在丈夫離世的悲痛中。直到 1959年，香港邵氏電影公司向胡蝶發出了重返影壇的邀請，1960年，胡蝶出演李翰祥導演的電影《後門》，憑藉這部電影，胡蝶獲得第七屆亞洲影展最佳女演員獎。已經年過半百的胡蝶，站在了國際電影節的領獎臺上，又一次戴上了影后的桂冠。1989年4月23日，胡蝶因中風併發心臟病，在加拿大溫哥華去世，享年81歲。臨終前，她給這個世界留下了最後一句話：胡蝶，要飛走了。
