入职协议

你好。我想咨询下我和新单位签署了一份5月份的入职协议，协议上约定5月6号入职，违约赔付4000元，但是现在这个单位还没到入职时间就老是喊我过去开会之类的，有点不想去这个单位了，如果我5月6号不去入职是否就要赔付她4000元啊