合同没到期，对方毁约

律师你好，我们是租了62亩农田，种植苗木，队里十几名农户签的合同，当时2020年6月到2030年5月底。期间，我爸分给朋友种了30亩，对方不愿签合同，租一年算一年，说行情不好时随时要走，后来因为一些纠纷，我想到2022年6月不续租。他只交到6月份的租金，对方威胁我们，他私下找农户，抬高一倍租金，让我们32亩同时也不得不抬高，农户为了利益，多人聚众起哄。我们有合同是合法的，他不愿意协商，说就要整我们，我们怎么处理？很多农户为了利益，是会赶我们走，但苗木种下去，成本都几十万了