我想问下买房贷款事

今年六月我和哥哥一起合买了一套门面房，首付180万己经交了，现在就一直等房贷，但是现在销售顾问说你们贷款有问题贷不了，只能你们凑齐余下房款，我已交那么钱了，那还有钱交哦！当时他们说贷款他负责贷款事向。现在如果买房不成是那方毁约？他们说是我们毁约要赔几十万。是这样吗？