抚养权更改

我和前夫离婚时孩子判给了我，一直是我在抚养，去年年底我回自己家了，孩子因为户口在他名下，要上学，所以现在在他家，他父母带着，我一个星期去看一两次，穿的用的我都买，前夫不管孩子，就是交过一学期学费，现在他想要回孩子抚养权，我应该怎么做？