非法所得退回与不退回的区别是，退回非法所得可以减轻处罚。【法律分析】。非法所得不退赃的后果为：不能从轻、减轻处罚或免除处罚。犯罪金额在五千元以上一万元以下的贪污犯罪分子退赃积极，确有悔罪表现的，可以从轻或减轻处罚外。若犯罪人有积极向投资者归还吸收的资金，积极赔偿被害人经济损失并取得谅解等表现，可以作为量刑情节考虑。如对于非法吸收或者变相吸收公众存款，主要用于正常的生产经营活动，能够及时清退所吸收资金，可以免予刑事处罚；情节显著轻微的，不作为犯罪处理。在非法集资案件中，通常办案机关定罪量刑时会综合考虑退赃、退赔行为对损害结果所能弥补的程度，退赃、退赔的数额及主动程度等情况。如何退赃、退赔？在什么阶段退？都会直接影响对涉案人员悔罪态度的评价及量刑【法律依据】；