根据我国《婚姻法》第四十六条的规定,有下列情形,导致离婚的,无过错方有权请求损害赔偿:(一)重婚的;(二)有配偶者与他人同居的;(三)实施家庭暴力的;男(四)虐待、遗弃家庭成员的。根据你说的情况,男方的行为属于法律规定的过错情形,离婚时无过错方可以主张损害赔偿