男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。可以要求返还彩礼的情形包括3种：
1.给付彩礼后悔婚，双方未办理结婚登记的；
2.双方即使已经办理结婚登记手续，但确未共同生活过就离婚的；
3.婚前给付彩礼导致给付人生活困难，离婚时也可以此为由要求返还彩礼。
一、离婚是不是三金彩礼返还男方
如果满足未生活在一起的，那么离婚需要将三金彩礼返还男方。可以退还彩礼的情形有双方已经办理结婚登记，或者办理结婚登记以后未生活在一起的，则需要退回彩礼的金额。
男方在婚姻约定初步达成时向女方赠送聘金、聘礼的习俗，这种聘金、聘礼俗称“彩礼”
根据最高人民的相关解释，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民应当予以支持：
（一）双方未办理结婚登记手续的；
（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。
适用前款第（二）、（三）项的规定，应当以双方离婚为条件。”此条件的规定，标志着人民正式以司法解释的形式对于彩礼纠纷问题如何处理作出明确规定。
“婚前给付并导致给付人生活困难的”是返还彩礼的一个条件。‘生活困难’，是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。”据此，“生活困难”应当是指绝对困难，而不是相对困难。“生活困难”即所谓绝对困难是实实在在的困难，是因为给付彩礼后，造成其生活靠自己的力量已经无法维持当地最基本的生活水平，而不是与给付彩礼之前相比，财产受到损失，相对于原来的生活条件比较困难了。本案中，被告人家庭经济状况本身就很差，不能维持正常生活，尚依靠单位给予经济帮助，给付彩礼后其生活就更加困难了，应认为被告的这种生活状况，属于“因给付彩礼导致生活困难”的情形。
二、返还彩礼有什么法律规定吗
关于彩礼返还的法律规定有：
1、双方未办理结婚登记手续的可以要求返还彩礼。
2、双方办理结婚登记手续但确未共同生活的，离婚时可以要求返还彩礼。
3、婚前给付并导致给付人生活困难的，离婚时可以要求返还彩礼。
【本文关联的相关法律依据】
《民法典》第一千零八十七条规定，离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。