购买拆迁安置房后的问题

06年底购买了江宁区同街道的拆迁安置房，没有两证，也可能终身办不下来的这种。买方实际居住不是用于投资，买卖双方当时没有任何隐瞒等。因当时签订协议违约金不多，现房价上涨，卖方单方面提出违约，并承诺按协议赔偿。但对买方造成更多更大的损失。买方如果不同意退房，卖方能要回房子吗？