要求还钱

我父亲让别人替他办银行卡，那人给了我父亲一张他自己的建设银行卡，我父亲一直以为是他自己的，让我往卡里打两万块钱，因为他要看病，我父亲把卡给我并告诉我密码，我修改密码并存入两万块钱，当我父亲拿着卡去取钱时，银行工作人员告诉他卡已被挂失，我父亲报警求助，警察调查核实并打电话给办卡人，他已承认并答应还钱，并且还了五千块钱，但是之后再也联系不上他，打电话不接，警察打电话他也不接，现在我们应该怎么办？