古代民间常用薄铁叶剪裁成鱼形，鱼的腹部略下凹，像一只小船，磁化后浮在水面，就能指南北。东晋的崔豹在《古今注》中曾提到这种“指南鱼”。
北宋时，曾公亮在《武经总要》中记载了制作和使用指南鱼的方法。他描述了如何将薄铁叶剪成鱼形，烧红后在子午线方向磁化，然后蘸水固定磁性，以鱼尾对准子位。沈括在《梦溪笔谈》中提到另一种方法，用磁石摩擦缝衣针，使其带上磁性。这两种方法对指南针的应用和发展起到了重要作用。
沈括在《梦溪笔谈》中还详细介绍了四种磁针的装置方法：水浮法、碗唇旋定法、指甲旋定法和缕悬法。每种方法都有其优缺点，沈括认为缕悬法最为理想。这些方法为后来指南针的发展奠定了基础。
南宋陈元靓在《事林广记》中介绍了另一种指南鱼和指南龟的制作方法。指南鱼是用木头刻成鱼形，内置天然磁铁，鱼头指南。指南龟则是将磁石放置在木龟腹内，安放在尖状立柱上，可自由旋转指南。这些发明为后来的旱罗盘提供了雏形。
为了确定方向，除了指南针，还需要方位盘配合。最初指南针没有固定的方位盘，随着测方位的需要，出现了磁针和方位盘一体的罗盘。罗盘有堪舆用的罗经盘、水罗盘和旱罗盘。盘面刻有二十四方位，磁针浮于水面，指向方位。
地球的两个磁极和地理的南北极并不完全重合，磁针指向的是磁极，存在磁偏角和磁倾角。北宋《武经总要》在谈到用地磁法制造指南针时，就注意利用了磁倾角。沈括在《梦溪笔谈》中指出磁偏角的存在，使指南针的指向更加准确。
指南针的发明是古代先民对磁现象的观察和研究的结果。先民们在实践中进一步了解了磁的性质，并试图更多地应用这些性质。传说秦始皇修建阿房宫时，使用磁铁制造的宫门可以吸住刺客的剑，马隆利用磁石堆阻敌兵，这些故事都反映了古代人们对磁石应用的认识。
磁石的性质在南北朝时已为我国先民所认识。陶弘景在《名医别录》中提出了磁力测量的方法，这可能是世界上有关磁力测量的最早记载。古代先民对磁现象的观察和研究，不仅促进了指南针的发展，也为后来的磁学研究奠定了基础。
