合作协议纠纷

我与一家公司签订协议加盟他们的品牌，但是后来发现他们公司没有做到之前谈好承诺，我不想做了，他现在不退还给我加盟费，该怎么办