要移除农村房屋后面未经我们允许就设立的电线杆

未经房主允许在农村个人房屋后面挖深坑竖立电线杆，导致房屋墙体开裂，目前要求搬走，工作人员说只能稍微挪动，不给移除，怎么办