我对外出租的房子想收回？

我买了一个二手房，原来买的时候有长期租约，我们买了一年了，租约一直在履行，年租金是59000元。现在我们想收回房子了，但是违约金过高要10万元。还有2年租期到期，对方是二房东，这个走法律途经要赔付多少钱？