不存在违约情况下想拿回购房定金

中介买房，给了中介两万定金，中介代我给了房东五千定金，房东开了一张五千的收条给中介，但名字写的收到（中介人）五千元整，现在房东和中介之间产生矛盾，房东不愿意通过这个中介把房子卖给我了，我要求中介退还我两万定金，中介就拖着，而且打电话时不时不接，说到火气上直接挂我电话，我可以起诉她吗，中介没得到房主同意扣留我一万五购房定金算违规吗？