跟一家中介签了租房合同(合租)，交了3个月房租和一个月押金，...

跟一家中介签了租房合同(合租)，交了3个月房租和一个月押金，签之前问他另一个房间是不是只有一个男的住，中介说是我们就签了，结果隔天去打扫卫生，发现有三个男的在那里住(他们的合同规定只能住一个人结果住了三个)，我们跟中介反应情况，中介说可以赶走，但我们怕打击报复不想租了，请问中介算我们违约要扣房租，请问是否合理？