要回小孩抚养权

孩子跟男方生活四年了，现读四年级，学校里问题不断，人人讨厌，爸爸重新组成了家庭，孩子以跟奶奶为主，但老人完全不会教育孩子！他是公务员，有房子租出去了，现在是租房子住，我有固定工作，也有房子，我能要回小孩抚养权吗？