离婚

我和老公已离婚，但是离婚没离家，离婚时儿子协议给对方带的，但是我现在想离开他，想要回孩子抚养权，孩子才一周岁丢给他我实在不放心，他责任心太差，18号孩子发烧他能忍心把孩子丢给老人带他出去喝酒，我上班去了，这种人太没有责任心丢下孩子我不方心，请问律师我能要回抚养权吗？