关于孩子抚养问题

我和前夫在孩子5岁时离婚，抚养权在他爸爸那，孩子有阿斯伯格综合症，但这7年来一直在我父母这，他爸爸不给抚养费也不要他回家住，只是偶尔周末回爸爸家住两天，儿子暴力行为越来越重，我们已经承受不了，他爸爸不管，怎么办？