男方婚姻是否有理可说

女方和前夫离婚后带了三岁的孩子嫁给了现在男方，因为男方不会生育，现在女方前夫要孩子，女方以现在男方不会生育要离开和前夫复婚，请问现在的男方是否有理向她要这几年给她们的抚养