恐吓算违法吗

一个刚认识的人由于贩毒吸毒被上海警察捉住判刑2年，在服刑前把所有物品交代给我，在上海一派出所内，当时3个警察在现场，我妹妹也在现场。他托我把他的东西交给他的家人，并说手机送给我用，因为他坐牢也用不到手机，所以就把手机密码删除，卸载手机软件交给我。然后警察说在里面需要用钱，让他带钱进去，可是他包里只有零钱20跟10快的，结果跟我借了400现金，我当着警察的面给他的，手机是他当着警察的面说给我用了，他不用了。后来见到他家人后我把他交代的全都告诉了他家人，但是他家人非说我是贪钱，不让我走，后来我还是走了，东西也交给她们了，但是手机留下了，因为他家人当着我跟我妹的面说我就是冲着他家钱的，我根本就连手机都没想要，但是她们的态度让我改变了想法，给我的东西我为什么要还，本来想着手机用几天还给她们的，我也没去刷机也没把手机怎么样，他让我去刷机自己留着用。后来他寄就非要手机而且还威胁我，说不放过我什么的，总之我也有短信截图，还有他妈妈说他没承认手机给我用了，让我还给他，还威胁说等他坐牢出来找我算账，因为当时是在警察面前承诺的，所以我认为他现在这算威胁。而且他家里人也威胁我，还查到我家地址到我家里去闹，已经严重影响了我的生活，现在我保存了他在牢里传出来的一张字条，是他妈妈发短信给我看的。现在我已经把东西还给他们了，但是他们还说这事没完，让我等着，我觉得这已经严重影响到我的生活，我想请问，这到底是我的错还是他们的错，他们这样威胁我有没有触犯法律？