签了中介买卖合同要解约，需要赔偿多少钱

我年前在桥北一家中介公司签了买卖合同，对方公积金加商业贷款，由于拖的时间太长，年后房价大涨，我自己是换房，我看的房子4房也涨价了，房款没拿到手，自己也买不起来房子，如果现在我想毁约不卖了，定金交了4万，我是退4赔4，还是按照合同约定要陪对方房价的百分之20？