此外，谢瑞麟的私生活亦让儿子不满。谢瑞麟有两位太太、四个儿女，选美出身的二太太张美琳与女儿谢颖婷长年定居法国。他虽与大太太谭坤仪一起生活，但每次出席活动，这位喜欢穿鲜黄衬衣、打鲜黄领带的老人，身边伴着的都是不同的年轻女士。入狱前，谢达峰与太太邱安仪及三个儿女一直单独居住。一位香港记者说，虽然谢家从未承认父子间有隔阂，但“明眼人都清楚”。

　　破产隐退5月6日坐在旁听席上的谢家家族成员只有谢达峰的太太邱安仪。她脸上没有明显的悲伤，一休庭就与律师低声讨论，直到再次开庭。

　　谢案再审期间，谢瑞麟长子谢达明专程从加拿大回港。上周日清早7点30分，谢达明与妹妹谢颖怡、弟媳邱安仪没去教堂做例行礼拜，而是在荔枝角收押所门口，夹在头发染成各种颜色的年轻男女中间，等候探监。

　　5月6日，已返回加拿大的他和每位家族成员一同，都为父亲写了求情信。一名长期追踪谢瑞麟案的香港记者说，老先生心里应感到欣慰，因为这些年，他在一手创办的家族事业中地位一落千丈。

　　2000年，炒楼失败的谢瑞麟被银行申请破产，为减轻对公司的影响，他将珠宝帝国的权杖正式移交给儿子谢达峰。2004年9月，破产令解除后，谢瑞麟却未能如愿再次回到公司董事局。掌握了公司74%股权的儿子仅为父亲安排了毫无实权的顾问一职，每月发给他5万港元月薪。

　　“老先生晚年过得很恬淡。”公司现任联席副主席黄岳永告诉南方周末记者，他每天早上都会到九龙仔公园跑步，这是他此前心脏病发作，成功获救后养成的习惯。常与谢共餐的代表大律师谢华渊亦说，谢瑞麟平时的饮食都很普通，最爱吃各式各样的包子，有一次吃饭，竟点了一整桌包子，还被他笑称“全包宴”(婚宴、喜庆等高级酒席的常用语)。