银行贷款

我是贷款人，贷了20万给担保人用了，担保人有我的银行卡，钱直接被他转走，我没接手，现在他不肯还了，我也没能力还，他有资产，当时银行知道钱给他用了，我现在该怎么办？