娶甄珍狄波拉離婚收場 女友年輕49歲拒認風流
謝賢的感情生活同樣備受關注，他曾與嘉玲、蕭芳芳等女星拍拖。1974年與首任妻子、一代玉女甄珍結婚，但婚姻僅維持3年。1979年他與狄波拉（拉姑）結婚，育有謝霆鋒和謝婷婷，但最終於1995年離婚。其後他與比自己年輕49歲的內地女友CoCo相戀，有傳分手時女方獲贈2,000萬元分手費。
雖然謝賢與拉姑的婚姻維持了16年便畫上句號，但他們離婚後依然保持良好關係，甚至與拉姑的現任丈夫亦經常聚會。
外界常以「花花公子」標籤他，但他一再否認，強調自己感情專一，並以一句金句概括愛情觀：「人可以風流，唔可以下流。」他提到曾與女友CoCo交往長達十年，足以證明自己並非隨便之人。
坦言不熟悉兒子謝霆鋒
謝賢的子女長大後同樣投身演藝圈。兒子謝霆鋒在樂壇與影壇皆有傑出成就，更與父親一樣奪得金像影帝，成為最強「巨星父子」。女兒謝婷婷近年淡出幕前，移居加拿大。晚年的四哥享受天倫之樂，除了謝霆鋒與前妻張柏芝所生的兩子Lucas與Quintus外，謝婷婷亦育有一對子女，令他的晚年生活更加圓滿。
2014年，謝賢曾與謝霆鋒遠赴西班牙拍攝節目《十二道鋒味》，這是父子自1985年日本之旅後少有的單獨外遊。他坦言兩人其實並不算熟悉，因為兒子自小在外國寄宿，彼此習慣各自生活，即使同住也堅守不打擾對方的原則。談到孫子Lucas與Quintus時，他笑容滿面，大讚Lucas懂得面對鏡頭與記者打招呼，更笑言Quintus穿上西裝十分俊俏，完全繼承了家族的優良基因。
此外，謝賢曾透露，自己真正賺錢的時期是在自資拍攝電影的那些年。然而，其後嘗試投資製衣、酒廊、浴室等方面，結果卻屢遭挫敗。他指出，自己曾考慮從事其他工作，但因缺乏經驗而失敗，並坦言並不擅長經營生意。
他經常提醒兒子，賺到錢不應胡亂花費，因為藝人不可能永遠保持紅極一時的地位。他進一步解釋，演藝工作需要24小時候命，根本沒有時間去深入了解其他行業的運作，只能依靠他人，而依賴他人往往難以成功。他總結道，經營生意只有一句話：「力不到不為財」。既然是辛苦賺來的收入，便不應隨意交由他人投資，反而應該選擇穩健的方式如「買磚頭」保值；只要不是透支或炒賣，便不會出現問題。
