怎样能要回孩子

你好，我跟前夫离婚时协议书写孩子归我抚养，男方每月付600抚养费，可后来男方不遵守协议约定隔三差五把孩子接回家，一直到现在孩子还在男方家，男方家借口孩子不愿意跟我了，我想把孩子接回来，请问可以去法院起诉吗？并以什么理由来起诉？