小孩抚养问题

离婚时，小孩男方抚养，不要求女方承担抚养费，现在男方直接把小孩丢给女方，不闻不问，抚养费也不给，请问我现在应该怎么办