在中世纪，人们发现将石灰加水后可以制成块状物，用类似木炭笔的方法记录在深色或坚硬的表面上，这在那个时代是非常实用的。由于纸张昂贵且容易模糊，刻在木板或岩石上的碳笔记录方式逐渐被这种石灰块所取代。尽管很难确定谁是第一个想到这个主意的人，但粉笔最初的用途并不是教学，而是作为一种记录方式。
粉笔真正进入教学领域，得益于19世纪中期大学的兴起。那时的黑板只是用黑漆涂在木板上，用以保护木板不受侵蚀，同时也用于公布重要事项，类似于现在的公告栏。但这些黑板通常都很小，且主要用于非教学用途。随着学生人数的增多，传统的教师口述、学生口记的教学方式逐渐显示出其不便之处，因此欧洲和美国开始普遍地将这些小型、非固定的黑色布告栏增大，以便学生能够抄写教师的口述内容。
经过近两百年的演变，粉笔逐渐成为教学中不可或缺的工具，帮助更多的人获得知识，扫除文盲。如今，国内使用的粉笔主要有两种：普通粉笔和无尘粉笔。普通粉笔的主要成分是碳酸钙（石灰石）和硫酸钙（石膏），有时会含有少量的氧化钙。无尘粉笔是普通粉笔的改进产品，旨在减少教室内的粉笔尘污染。它通过在普通粉笔中加入油脂类或聚醇类物质作为粘结剂，并加入比重较大的填料，如粘土、泥灰岩、水泥等，以增加粉笔尘的比重和体积，使其不易飞散。然而，尽管有这些改进，无尘粉笔对粉笔尘污染的实际降低效果并不明显。
