房屋违约金

买了一套房屋约定违约金为房屋总价标的额的百分之二十（合同约定），我交了一万元定金。我现在不想买，对方主张大约20万的违约金，违约期限一个月左右，（我主动违约）我意思定金不要，解除双方买卖合同.如果对方起诉索要违约金，我应该如何应对.是否要赔偿20万违约金.