拆迁安置房

我买了别人的拆迁安置房，先给了他4万，现在证下来了，甲方不愿意过户，我们之间有合同(如果违约，违约方就要支付给非违约方20万)，但是我用这个钱买不到房子，怎么办