二手房买卖纠纷

我家房子卖给了别人，在房屋出售之前我爸就有因赌博引起的债务纠纷，房产证上是我爸跟我弟两个人的名字。房子本身无任何债务纠纷或者抵押，顺利过了户。可是等买房人搬进房屋后讨债的人明知道我们搬走了还是不断骚扰买房人，请问在这种情况下，买房人可以通过法律手段要求退房给我们或者向我们索要经济赔偿吗？