李衡，字彦平，是江都人。他的高祖李昭素曾官至侍御史。李衡自幼擅长背诵诗文，提笔就能成文。他后来考中进士，担任吴江主簿。当时有一个部使者仗势欺人，侵害百姓，李衡不忍用棍棒对待百姓来迎合，便呈上引罪自责的辞呈，拂袖回家。后来，他担任溧阳县县令，一心用诚意教化百姓，百姓无不尊敬他。夏秋两季的赋税，只是把上缴期限公布于县衙门前，乡村中不见官吏催缴赋税的踪迹，但百姓却争先恐后地缴税，比其他县完成得更快。因此，他任职四年，狱中从未关押过重罪犯。
隆兴二年，金兵进犯淮堧，人们纷纷惊恐。沿江大多将妻儿送走，而李衡独自将家从浙东迁至溧阳，百姓人心安定。其他县盗贼四起，而溧阳仍平安如旧。元帅汪澈、转运使韩元吉等人将李衡列为治理上等上报，皇帝下诏加官一等。不久，他被召入朝任监察御史。历任司封郎中、枢密院检详，出朝担任温、婺、台三州知州，仅婺州亲自到任。加官秘阁，但他因年老请求退休，恳切请求不止，皇上多次退回他的奏章，最终授予他秘阁修撰的官职让他退休。
皇上想到他为人淳朴忠厚，不久又征召他任官，任命他为侍御史，他以年老为由坚决推辞，但未能得到皇上的恩准。命他与其他共同主持选举。当时，外戚张说以节度使身份掌握兵权，李衡极力上疏，说“不应因他是母后亲人就任以”。在朝堂上力争了好一段时间。改官任起居郎，李衡说：“与其任官而有负于国君，不如辞官而合于道义。”他五次呈上奏章，越发极力以年老请求退休，皇上知道改变不了他的决定，仍然让他以秘阁修撰的身份退休。
当时给事中莫济不写敕文，翰林周必大不起草制诰，右正言王希吕也和李衡相继上奏，同时离开朝廷，士人作《四贤诗》来记述这件事。李衡后来定居昆山，建茅草别墅，拄着拐杖，穿着麻鞋，安闲自在，左右只有二个奴仆，聚书超过万卷，自号叫“乐庵”。他去世时，享年七十九岁。
