买房人定金中介扣留不给卖房人问题

背景：买方跟中介看完房之后，欲购此房， 于是中介打电话跟房主确认这事， 说买方看中了此房， 欲付XX定金，房主当时不在本地， 于是让中介暂时代收此定金，此时买方给中介写了张字条， 大致意思是我看中哪边哪边房子， 售价多少， 已付XX定金给中介代收， 并打算于多少号来签购房合同并付首付金，最后签名；然后中介也给买方立了个定金收条。但卖方这没有任何字据或协议。现在： 买方不想买了， 想收回定金， 并且已超过协议里商定的日期， 此时卖方来想去中介那把定金拿回来， 但是中介依旧扣留定金， 不给卖方， 说过阵子， 并且还要求50%定金做劳务费。 现在问题来了， 卖方该如何维护自己的权利， 或者说是否有权利拿到这定金？