离婚后对方父母起诉要求返还买房款

律师，您好！结婚后我将自己婚前无贷款房产卖掉，女方父母出资40万共同买了一套按揭房。房产证为我和女方姓名，因女方出轨，一直闹着离婚，最后协议离婚。房产归我所有。离婚后女方父母把我和前妻一起起诉，要求返还当时的购房款40万元！女方父母出资40万并不是我和前妻去借的，更没有借条！是女方父母为了减轻我们压力打的。但是看在女方父母年迈，离婚协议中一次性支付前妻35万元 并没有写用途 和女方口头约定这个钱给他父母，因为女方自己理亏 愿意自己出5万，就当精神赔偿 ！现在女方父母拿着打款底单起诉我和前妻还钱 我该如何处理