我贷款买二手房，已经签完买卖协议要交首付了，定金什么时候返还？

我买一套二手房，已经签完买卖协议，在此之前交给房主定金2万，中介费1万，银行面签顺利，同意放贷，明天就要去缴纳首付，我手里钱可丁可卯，是否此时应该向房主要回定金，房主说钱已经用上了，暂时没有，让我缓几天或我先管别人借。我想知道如果我交完首付，最后银行放贷到房主的账号上，我还能要回定金么，这中间我有风险么？