在自家地上建围墙对方一直打12345

在自家的地上建围墙，邻居不给，反反复复打12345，因为我家马上两个宝宝，担心父母带不过来，房子的另一边是池塘，担心孩子的安危，所以打算建围墙，也去申请了，可是邻居不同意，是个蛮不讲理的人，村里也来人协调，他们家就是不出面，遇到这种情况就处理不了了吗？