退首付款

在常州购买商住50年公寓，首付款已付，因政策原因，首付款已付给售楼处，等了四个月贷款也没有成功！各家银行都限贷款给外地人！合同条款上的所有不买风险都转嫁在买方！此时，买方不买要付违约金吗？