这个中介费该由我付吗？

您好！ 我由中介带看房某楼盘，然后买的一套房(只签了房屋预购协议，款全付了，但购房买卖合同没有签)，后由于某些原因要求退房，开发商也同意了，当时是说我们的购房定金不退还了 ，我们也同意了。 现在开发商又跟我们说: 因为我们当时是中介带去的，现由于他们已付了中介的中介费，现拿中介费的业务员离职了，中介费要不回来了，所以现在这个中介费要在我们头上扣。 请问一下，这个要不回来的中介费应该是由我们承担吗？谢谢！