塞林格曾在欧洲与一位女医生结过婚，但这段婚姻仅维持不久即宣告结束。1953年，他与一位名叫克莱尔·道格拉斯（Claire Douglas）的女学生相识并相恋。两人于1955年步入婚姻殿堂，并迎来了他们的女儿玛格丽特·塞林格。玛格丽特还有一个姐姐，不过文章未提及她姐姐的名字。塞林格的婚姻并非一帆风顺，他后来与克莱尔离婚。1972年，他在一本杂志上看到一位名叫乔伊斯·梅纳德（Joyce Maynard）的耶鲁大学女学生的文章和照片，被她深深吸引，两人开始通信。然而，这段关系在十个月后便无疾而终。塞林格的儿子马特·塞林格则是一位知名的影星，继承了父亲的文学才华。塞林格对于出版作品时撰写序言的态度颇为谨慎，同时他非常重视个人隐私，因此他的家庭生活鲜为人知。