签了二手房买卖合同，卖房不愿意卖了，还不愿意赔违约金怎么办

签合同几天了，卖房说不想卖了，我们交了定金两万中介费两万共计四万块，现在不愿意赔我们双倍违约金。怎么解决