二手房

我是卖家，我们一切都按照合同来的。包括后补充说明，我想不是大事,我也做到了。现在中介也同时发信息说交房。买家不肯给尾款。我就把房屋钥匙拿走了。请问如果买家投诉法院我需要承担责任吗？另外我可以找买家要违约金吗？