冒充银行工作人员诱导我签署信贷委托书并收取手续费

有人跟我说是建行工作人员，可以给我办理信用贷转商贷，利率很低，银行也不会查，诱导我跟他们中介也就是所谓渠道部签署委托合同，交了一笔手续费，后来确认这个人不是银行工作人员，沟通后不给退手续费，我说违约，后来咨询银行朋友说这是骗贷，我不能做这种事，但是我交的手续费怎么要回？