金台寺原名金台精舍，是黄杨八景之一。据史书记载，南宋末年，诸忠臣护卫着祥兴帝赵丙在广东新会崖门海面与元兵对抗，最终失败。丞相陆秀夫背负年幼的祥兴帝投海殉国。大将张世杰率领余部突围，却在南海遇上了狂风，船只覆灭，遗体漂至黄杨山下的大赤坎，被村民安葬在黄杨山麓。赵时从、龚行卿、邓光荐等人作为遗臣隐居在黄杨山，他们筑舍而居，取名“金台精舍”。据说，赵时从等人效仿春秋时期燕昭王在易水筑“黄金台”招揽贤士的做法，他们在黄杨山筑舍，名为读书吟诗，实则密谋抗元。90年代初，开始修复金台寺的工程。由于旧址已被水淹，且交通不便，修复工程选在黄杨山南麓的新址进行，该地风景优美，前可眺望崖门海口，后依黄杨主峰。金台寺不仅承载了历史的记忆，还成为了香火旺盛的佛教圣地，吸引着众多信徒前来朝拜。