高淳区砖墙镇时家村土地纠纷

我在时家村有一块农田几年前与同村不同组的村民互换耕种现与我国发放农田补贴而我没有经查是互换田的村民在我换给他的田里盖了个小屋子、我现跟他协商要继续换就过户不换就拆房还原而他即要盖房也要补贴请问我该如何维权