二手房房产纠纷

您好，我是二手房的房主，我们房子在14年的时候发生过地基下沉，并且当时政府还进行了戒严，给我们整幢楼的住户都安排了其他住所。后经国家相关部门检测后，发现房屋是安全的，并给所有住户都发了一份政府报告，告知此房并无安全问题。在买家和我们签订合同前，我方并未主动提及此事，签订合同的第三天买家和我们联系，说在他人的告知下才知道该幢楼发生过地基下沉事件，并且说我们违约了，违反了卖方的义务，故意隐瞒房地产的权利瑕疵和影响交易的重大情况这一条，想要回全额定金。但是我方不想退还定金，该怎么办？如果对方起诉，对方的胜算有多大？谢谢