离婚后房产

我是协议离婚的，因对方要把儿子留在身边要求我把房子给她住（协议上写的是房产归我，女方带孩子居住）现在儿子高中毕业了，我有没有权利收回房子，就是解除女方的居住权利？我应该怎么做？