房屋买卖一方违约，违约金如何赔偿

我们是卖方，已经在中介签了合同，首付没有付，只付了2万定金，双方合同约定一方违约，另外一方双倍定金赔付，现在买方反悔了不买了，要求解除合同，我们要求按照合同办事，可是买方只同意以定金赔付，我们可以主张严格按照合同双倍赔付吗，我们需要怎么做的。