扶养权问题

二人已去年离婚了，小孩判给了女方，女方和她父母吵架后自己和别人离家岀走，把小孩丢给了外婆外公，女方的父母把小孩交到了男方手上，叫男方这边带扶养，今年下半年要上幼儿园满三岁了，请问需要叫女方把扶养权转给男方吗？还是男方扶养成事实，扶养权自然就归男方？