退房，已扣定金，还需要再扣违约金吗？

2013年10月30号交了2万订金，11月9号交了首期并签了购房合同，也同时签了贷款合同，等到12月份，房产的代理商通知我们说没有贷下来，但不是我们的原因，说要等2014年元旦后才能再递贷款资料了，但等到了元月，说要等农历年后才能递，这时已到三个月，要求一定要交契税，不然要交滞纳金，于是我们在年前交了契税，年后再问说，可能要等到2014年7月才能递贷款资料了，在这等的过程中，我们是在煎熬，在5月份时他们有和我们商量说看看能不能分期付款，我们没有完全答应，我们说要考虑一下，当时我们有和房产的代理商说不是分期付款就是退房，他们说退房，定金是不能退的，我们于6月11号通知房产的代理商说退房，代理商说要递申请给到开发商，等开发商批才行，今天给我电话说可能要到7月底才能退款回来，但有可能还要扣除违约金，要看开发商的，有的会扣有的不会扣，定金2万肯定是不退了，还有解除合同的费用，我就说怎么可能还要扣违约金呢，之前说要退房，他们没有提过要扣违约金的，请问宋律师，象这种情况，我们已不要定金了，按正常还要再扣违约金吗？请帮解答，非常感谢！