买家起诉我迁户口问题

去年年中签到合同，对方大概9月拿到两证，之前和他说过户口会迁的晚点，估计到年底，他答应了，年底我没有迁成，又和他妈妈商量，她妈妈没有提出异议，上周我将户口迁走，买方说要按照合同，要求我赔偿百分之二十的违约金。已经起诉。