房屋被子女撤除后新建屋居住权怎么规定？

父母原居住房屋协议被子女撤除，按协议规定:撤除后新建房屋留房间和灶房按排父母居住，直至终老。而今父亲去世，其子乘母亲外出散步，强行将母亲赶至附近一小屋，以至母亲处在半流浪状态。现在每天将母亲关在小屋内，这种行为属违背父母意愿，往下怎么办？