三孝祠的起源与徐仲源紧密相连。相传在唐代德宗年间，徐仲源曾任合肥令。他的父亲徐升翁从宣城调任望江县令，因此定居望江。徐仲源是太慈镇六九甲徐氏的鼻祖，也是县志中首次记录历任县令姓名的人。他以孝顺闻名，其孝行故事在民间广为流传。
在德宗贞元年间，徐仲源的母亲李氏左眼红肿流泪，疼痛难忍，诸多名医无效，左眼最终失明。右眼也出现相同症状，他听闻用儿子肉汤或许能治病，便割肉炖汤给母亲食用，母亲的眼病因此痊愈。他母亲畏惧雷声，每次雷雨天，他都会紧贴母亲身边，保护她不受惊吓。母亲去世后，他常在雷雨天前往母亲墓地，后来雷声常绕过墓地。
县令麴信氏得知他的孝行，上奏朝廷。德宗皇帝感动，封他住宅所在地为昭贤里，所在乡为孝感乡，并表彰他的孝德。徐仲源死后，后人将他安葬在母亲墓旁。野兽堆土，鸟儿衔花，以纪念他。后来，他的第五代孙因避战乱迁至江西。数百年后，徐天龙、徐腾龙兄弟从江西回望江，徐石宕建立三孝祠，纪念徐仲源和其他两位孝子。
望江县城始建于明代万历年间，北门称孝感门，对着徐仲源故居和墓地。三孝祠建成后，许多名人纷纷题诗纪念。但由于年代久远，碑碣已不存在。三孝祠原有前后两进，两侧厢房，后墙和外墙间有套间，东北角有厨房，和小高丘上的水竹。然而，岁月流转，这些建筑都已不存。尽管如此，徐仲源割股、王祥卧冰、孟宗哭竹的故事仍流传至今，成为望江的千古佳话。
