不给抚养费

你好！我想咨询一下:我跟小孩爸爸已经离婚了，今年九月他要我把小孩带去他家给他过生日，撑面子，可小孩化脓性扁桃体炎，发烧，每天流鼻血，我跟他说明了情况，他就说我剥夺他探视权，对小孩生病都不闻不问，小孩六年连他一颗糖都没吃过，一直一来都拿抚养费威胁着我们，我实在不想跟他有任何联系了，之前还让的房东把我跟小孩撵出去，我实在没办法了，抚养费我也不想要了，但我怕他以后生大病了，到时候来找儿子要钱，我想问一下:这需要在法院备个案吗？