离婚后房产

您好，我和我老公2012年离婚的，当时是为了买房离婚的，因为我名下当时已经有一套婚前买的房子了，他名下没有房子，（所以我们就想用假离婚的方式再买一套房）离婚手续办理结束以后，我给了老公50万做房子的首付款，后面那套房子的贷款也一直是我还的，现在我和他发生了矛盾，没法过下去了，他不愿意把房子给我，我是否可以要回之前付的首付款和贷款？