二手房纠纷

本人买了一套二手房，在中介签的合同里写贷款72万，交房时给尾款是一万五，后在担保公司我和原房主口头协议把尾款改成三万五（因为原房主一直没迁走户口），所以贷款只贷了70万（原房主在场，他同意）。现在贷款到他账上20天了，我现在要求他到中介我给尾款他交房，但他不交，说要我把那两万补齐，但是他现在也没把户口迁走，这样我可以告他违约吗？