配偶原配是杜致礼，她是杜聿明的长女，于2003年10月去世。现任配偶是翁帆，1976年7月出生于广东外语外贸大学高级英语翻译专业，硕士研究生，于2004年与杨振宁结婚。子女长子杨光诺，1951年出生，是美国电脑工程师。次子杨光宇，1958年出生，是美国化学家。女儿杨又礼，1961年出生，是美国医生。在17岁时，杨振宁为了前途放弃了初恋。当时，数学系的一位女同学张景朝吸引了他的注意，因为父亲是数学系主任，杨振宁经常在家见到她。张景朝的到来让他的心情变得波动不安，但最终他认为这对自己的人生规划不利，决定专注于学习。