买房子贷款办不下来要违约

今年4月份在句容买了一套房子，贷款没有办下来，因为我自己是中介，银行限制中介贷款买房，现在要退房，开发商十几万违约金，打官司的话怎么能把损失降剧最低？