出租车合同交了两万元押金，现在要不回来怎么办

我老公和个体出租车签了一年合同交了两万元押金，干了几天干不下去了，和老板说不干了，老板说要等三个月，干的实在受不了了就和老板打了声招呼就没干了，现在老板也不退押金，这个我们该怎么办