觉得房子有隔断的质量问题，可以不赔付违约金退房吗？

这个房子原来应该是一个两室到三室的，厨房客厅等都被隔成了卧室，现在成了一个五居，我当时租的时候想着我那个是个独卫，没有什么关系，但昨晚突然发现，屋里厕所的吊顶会亮，后来发现是隔壁次卧在用他的洗手间，而且我可以很清楚的听到他洗澡声关灯声，那也就是说我们两个人的厕所是通着的，那说什么做什么也都会被隔壁听到，就很恐怖，然后之前有好几次我睡觉的时候明明都关着窗子却能闻到很浓重的烟味，现在觉得就是因为两间屋子厕所是通着的，其次现在五间屋子都住满了人，每天开关门进进出出听得一清二楚，影响作息。我想请问这种问题可以不赔付违约金退房吗？合同签了5个月，但我刚住一个月，合同上写着乙方不得中途退房，那由于甲方的问题乙方想要退房也是不允许的吗？他这样打隔断间是合法的吗？