签了房子但是后悔不想要了

今年1月签了房子，自住的，本想着买了之后找装修公司重装。临近交首付环节，找了几家装修公司看房子想改装修，都说房子太老、结构固定，没法打通几面墙。房子现在的结构太不合理，想改又改不了，于是不想要了。但是定金已交2万，买卖合同上写了“违约付20%房款”。现在就是想违约，定金和中介费都不要了，能否可行，是否一定要赔20%房款？