非法所得是需要全部退回的。
犯罪分子具有本法规定的减轻处罚情节的，应当在法定刑以下判处刑罚;本法规定有数个量刑幅度的，应当在法定量刑幅度的下一个量刑幅度内判处刑罚。
只要有非法所得，且存在，就要收缴。查封、扣押、冻结的财物及其孳息，经审查，确属违法所得或者依法应当追缴的其他涉案财物的，应当判决返还被害人，或者没收上缴国库，但法律另有规定的除外。判决返还被害人的涉案财物，应当通知被害人认领；无人认领的，应当公告通知；公告满三个月无人认领的，应当上缴国库；上缴国库后有人认领，经查证属实的，应当申请退库予以返还；原物已经拍卖、变卖的，应当返还价款。对侵犯国有财产的案件，被害单位已经终止且没有权利义务继受人，或者损失已经被核销的，查封、扣押、冻结的财物及其孳息应当上缴国库。
犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。
法律依据《中华人民共和国刑法》第六十三条 【减轻处罚】犯罪分子具有本法规定的减轻处罚情节的，应当在法定刑以下判处刑罚;本法规定有数个量刑幅度的，应当在法定量刑幅度的下一个量刑幅度内判处刑罚。
犯罪分子虽然不具有本法规定的减轻处罚情节，但是根据案件的特殊情况，经最高人民法院核准，也可以在法定刑以下判处刑罚。
《中华人民共和国刑法》第六十四条 【犯罪物品的处理】犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔;对被害人的合法财产，应当及时返还;违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。
