家庭纠纷

我老婆离婚带着孩子一直住在前夫家里 孩子抚养权是男方的,中间我跟老婆结婚,也住在男方房子里。孩子孩子现在十四岁了,男方要求我们搬出去,但是前提是孩子小的时候,男方家里哄着我老婆 说房子一直可以住,现在孩子大了 不怎么需要大人照顾,就让我们搬走,我老婆可以向他们要这么多年的损失费吗?一直带孩子 没有去工作