不愿归还我的储蓄卡怎么办

有个朋友之前借用我的储蓄卡，现在我要求他归还，不愿意，我可以直接到银行办理销卡吗？如果卡里有钱，取出来违法吗？应该怎么办？