通过中介公司购买二手房，贷款前原房主突然终止交易，首付款中介一直往后拖怎么办？

前段时间通过中介看中一套二手房，然后给房主交了5000元定金，把首付款和中介费交给了中介公司，同时中介公司给开了收据。之后就开始准备材料。。。在材料准备好以后，申请贷款的前一天，房主突然违约，不同意卖房。然后第三天（7月23号）去中介公司，把定金和违约金退给了我们。但是中介那边的首付款没有给我们，说要向公司打申请，于是定好8月1日到中介取首付款。
7月31号，给中介打电话，结果说财务系统出了问题，总公司暂时没法给他们打款，所以要等系统恢复以后才可以。于是延后到8月6号。
昨天（8月5号）我和女朋友去了中介公司询问能否退款，结果答复仍然是系统没有修好，还要再等。我和女友给他们定好了12号必须退款，他们同意了，现在我和女友就担心我们的首付是否被中介公司挪用，会不会不给我们。。。
（违约当天中介承诺8月1号退款的事情我们有录音，期间给中介打电话的时候也有录音。）
请问这种情况下，我应该怎样维护自己的利益？