孩子抚养权

双方同意离婚，但是孩子抚养权没有达成一致，都要孩子，孩子一直跟母亲一起，男方不怎么管，偶尔带着玩玩……现在男方要抚养权，说是怕自己以后老了 无依无靠？孩子跟他一起，基本生活质量，就要受影响了。请问要走起诉吗？一般怎么判定