请问结婚三年半，我一直在家带孩子没工作，现在双方都想离婚，男方说什么都是用的他的钱需要退还吗？

您好，不需要。
夫妻间有互相忠实，互相尊重，互相关爱的义务，在夫妻关系存续期间，作为家庭的一员，在没有明确约定的情况下，双方获得的收入原则上来讲都是夫妻共同财产，任何一方都有权利在家庭日常生活中单独支配夫妻共同财产，不存在什么退还的问题。
更何况，全职太太虽然没有外出工作，但作为内部支撑，对家庭的贡献并不比外出赚钱的一方小，妻子在家育儿、丈夫外出工作，这只是家庭生活中的不同分工罢了。民法典时代，全职太太的贡献也得到了法律的保护。法律规定，夫妻一方因抚育子女、照料老年人、协助另一方工作等负担较多义务的，离婚时有权向另一方请求补偿，另一方应当给予补偿。具体办法由双方协议；协议不成的，由人民判决。
【相关法条】
《民法典》
第一千零四十三条__家庭应当树立优良家风，弘扬家庭美德，重视家庭文明建设。
夫妻应当互相忠实，互相尊重，互相关爱；家庭成员应当敬老爱幼，互相帮助，维护平等、和睦、文明的婚姻家庭关系。
第一千零六十二条__夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：
（一）工资、奖金、劳务报酬；
（二）生产、经营、投资的收益；
（三）知识产权的收益；
（四）继承或者受赠的财产，但是本法第一千零六十三条第三项规定的除外；
（五）其他应当归共同所有的财产。
夫妻对共同财产，有平等的处理权。
第一千零六十三条 下列财产为夫妻一方的个人财产：
（一）一方的婚前财产；
（二）一方因受到人身损害获得的赔偿或者补偿；
（三）遗嘱或者赠与合同中确定只归一方的财产；
（四）一方专用的生活用品；
（五）其他应当归一方的财产。
第一千零六十五条__男女双方可以约定婚姻关系存续期间所得的财产以及婚前财产归各自所有、共同所有或者部分各自所有、部分共同所有。约定应当采用书面形式。没有约定或者约定不明确的，适用本法第一千零六十二条、第一千零六十三条的规定。
夫妻对婚姻关系存续期间所得的财产以及婚前财产的约定，对双方具有法律约束力。
夫妻对婚姻关系存续期间所得的财产约定归各自所有，夫或者妻一方对外所负的债务，相对人知道该约定的，以夫或者妻一方的个人财产清偿。
第一千零八十__夫妻一方因抚育子女、照料老年人、协助另一方工作等负担较多义务的，离婚时有权向另一方请求补偿，另一方应当给予补偿。具体办法由双方协议；协议不成的，由人民判决。