女儿的抚养权

请问，我和一个女人，她是湖北的，有家庭，后来离婚了，在这期间和我有了个女儿，我也养了半年，我也很爱这个女儿，可现在她又想回去了，我该怎么办