耕地上建厂房

我们组的16亩耕地被承包种菜，后开听说被卖了，给别人买去建厂房了，我们找村里，镇里都敷衍了事，说人家是租的，2019年年底到期我们4租所有村民说不租了你把地退给我们，但是村里的意思继续租，问题已经违法了，破坏了耕地，还建了厂房，到国土资源局也找过了，都不了了知，还说叫我们告，我在想这不是你们管的吗？真是不作为啊？像这种情况怎么处理？