首付款和定金不退

在中介的催促下说有退房鼓吹我购买了高淳紫晶美域，一开始交了定金两万，然后让我把贷款资料带去审核通过说能贷款，让我交了四成首付。交了钱后开发商以我是外地人需要提供本地担保人才能下款为由，前后拖延了我半年说办理贷款办不下来，让我退房。签了退房退款协议后说两个月退我全款32万多。然后到时间了还不见退钱，我打电话过去问，说是我个人原因导致贷款贷不了必须扣我两万定金。但是这个一开始是他们审核通过说我符合贷款条件才让我交首付款的。我想问这个怎么定金和首付款能否要回。