父亲杨武之，1896年至1973年，是一位数学家和教育家，曾在西南联大担任教授。
配偶原配是杜致礼，她是杜聿明的长女，于2003年10月去世。现任配偶是翁帆，1976年7月出生于广东外语外贸大学高级英语翻译专业，硕士研究生，于2004年与杨振宁结婚。
子女长子杨光诺，1951年出生，是美国电脑工程师。次子杨光宇，1958年出生，是美国化学家。女儿杨又礼，1961年出生，是美国医生。
在17岁时，杨振宁为了前途放弃了初恋。当时，数学系的一位女同学张景朝吸引了他的注意，因为父亲是数学系主任，杨振宁经常在家见到她。张景朝的到来让他的心情变得波动不安，但最终他认为这对自己的人生规划不利，决定专注于学习。
27岁时，杨振宁与学生杜致礼展开了一段长达五十年的恋情。1944年，他在西南联大完成学业后，教了一年中学，期间认识了杜致礼。1949年，两人在普林斯顿的一家中国餐馆重逢，并最终在1950年结婚。
到了82岁，杨振宁与28岁的翁帆展开了一段忘年恋。2004年12月24日，他们在汕头市民政局办理了结婚登记手续。尽管有人质疑这段婚姻，杨振宁却将翁帆视为“上帝恩赐的最后礼物”，并认为这给了他重返青春的机会。
在2008年1月，杨振宁的新书《曙光集》在北京三联书店发行，他在前言中提到自己成长于一个漫长的历史时期，并庆幸中华民族终于迎来了曙光。尽管他无法亲眼见证，但翁帆答应会替他看到。
关于父子关系，杨振宁加入美国国籍时，父亲无法接受，并在去世前未原谅他，这成为了他一生的遗憾。
在科学界，杨振宁和李政道曾是一对成功的合作伙伴，共同获得了1957年的诺贝尔物理学奖。然而，1962年他们决裂，不仅在科学上停止合作，友谊也走到了尽头。尽管外界对他们的决裂原因有所猜测，但真实原因依然不明。杨振宁将李政道视为最成功的合作者，并多次表示与他的决裂是最大的遗憾。
与邓稼先的友谊始于他们在崇德中学的学业时光。两人在西南联大时期再次成为同学，并一直保持联系。邓稼先回到中国后，两人长时间失去了联系。1985年，邓稼先被诊断出患有直肠癌，杨振宁两次回国探望他，并努力获取新药以帮助治疗。1986年，邓稼先去世，杨振宁回到北京为他扫墓，以纪念他们长达半个世纪的友谊。
