派出所在解除取保候审时应退还保证金，前提是犯罪嫌疑人在取保候审期间未违反刑事诉讼法规定，包括未经批准离开居住地、未及时到案、干扰证人作证、毁灭证据等情况。如果违反规定，保证金将被没收，并根据情况要求重新交纳、提供保证人、监视居住或逮捕。退还保证金决定需经审核、上级批准，并通知指定银行将保证金退还给犯罪嫌疑人。法律分析；当犯罪嫌疑人没有以下情形时，派出所要退回保证金。1、犯罪嫌疑人在取保候审期间，没有违反刑事诉讼法第五十六条的规定的情形之一的，在解除取保候审的同时，机关应当将保证金如数退还给犯罪嫌疑人。第五十六条规定：被取保候审人的义务。(1)未经执行机关批准不得离开所居住的市、县。(2)在传讯的时候及时到案。(3)不得以任何形式干扰证人作证。(4)不得毁灭、伪造证据或者串供。