退房合同撤案和首付款返还问题

你好，我在合肥买了套商品房，首付付了32万。购房合同也已经在房管局备案了。可是因为我个人的原因终止了贷款。我提出了退房申请，并愿意承担合同约定的违约责任。但是问题出来了：开发商要我先去撤案才肯把首付款还我，我不放心，就想和开发商沟通在撤案前签一个还款期限的协议，但是开发商不肯，非要我先去撤案，我问撤了案之后什么时候能把钱还我，开发商只说会尽快。我该怎么办，快一年了，我该撤案吗？期待回复