违约责任和赔偿

我是卖方，买方在约定好的时间里没有付首付款，我们双方约定好违约金为20%的。现已过首付款的约定时间了，我可以要求买方支付20%的违约金吗？是要到法院去告吗？