买卖经济适用房

我之前交给中介2万元定金，但是现在因为卖家这边不配合，导致无法继续交易下去，我这个钱是否能够拿回，现在中介不肯返还，说是让我和他一起起诉卖家，这样合理吗