房产属于谁

老父亲有房产一处，儿子两个，八年前，两兄弟约定，老二一次性付给老大五万元，购买老大的房产继承权，并有见证人，双方也签有书面协议。如今，房屋拆迁，老大想要回他的一半，请问老二可以拒绝吗？