相传，东海度朔山中，有一棵覆盖三千里的大桃树，其枝伸向东北方的鬼门，所有的鬼怪来往皆从此出入。树下有二神，一名神荼，一名郁櫑，专门监视鬼的行为，发现哪个鬼胡作非为，就用芒苇做的绳子把它捆起来喂老虎吃，而天下的鬼都畏惧神茶、郁垒。于是，人们就在两块桃木板上，画上神荼和郁櫑的像。置以门侧，以御百鬼骚扰。这是传说中最早出现的门神形象。而民间桃木能驱邪的说法，也是从这里来的。