求帮助

2005年，姐夫姐姐做生意亏本欠下好多债务，我家将仅有的一套拆迁安置房卖了给他们还债了，当时约定好等他们家拆迁安置房拿到手还我们一套，当时也没签什么协议，只是2013年时看他们家房子还没拿，我要求姐姐打个条子给我，姐姐说她签字就可以了，不需要姐夫签字。现他们家房子拿到了，姐夫却想赖账，不愿还房，还要和姐姐离婚，请问我们该怎么办？现我们一家还在外租房住。