要看情节严重与否。如果情节严重,比如以暴力或者其他方法公然侮辱你的家人,你们可以以侮辱罪向公安机关报案,或者直接起诉到法院。如果只是谩骂,没有其他严重情节,可以要求对方停止这种侵权行为,或者直接起诉到法院,要求对方停止侵害,赔礼道歉等。