小区搞健身场地

社区在我一楼搞健身场地，我不给建，是因为场地小，建好后，许多人都到这里来，说话吵，什么人都有，我不能让人不说话，这样生活带来不便，小孩写作业，老人，睡觉，我可以不建吗？