时间骚扰

楼下有个精神不正常的人，每天每夜都在讲话、骂人，前几天有攻击性和针对性的骂人，这两天还是每天每夜在家讲话骂人，严重影响到我们休息和正常生活，我们应该怎么办？