遇上无赖房客怎么办

您好，我最近刚把房子租出去，出于巧合去租房附近有事，发现居住在我房子里的并非租房者本人，而是其高龄父母（70、80岁），当初租房时他明确说过租来自己跟妻子居住，而且租房合同中也明确规定租客不得将房子用作他用。针对他的违规，我原想扣留押金要求其退房，但租客耍无赖，辩称平时自己住，父母来看他就父母住，甚至还可以一起住（我那是公寓，只能放一张床，根本不可能一起住），我向物业了解到真正居住的就是其父母，可租客坚持自己没违约，该怎么办？住在我房子里的并非租房者本人，而是其高龄父母（70、80岁），当初租房时他明确说过租来自己跟妻子居住，而且租房合同中也明确规定租客不得将房子用作他用。针对他的违规，我原想扣留押金要求其退房，但租客耍无赖，辩称平时自己住，父母来看他就父母住，甚至还可以一起住（我那是公寓，只能放一张床，根本不可能一起住），我向物业了解到真正居住的就是其父母，可租客坚持自己没违约，该怎么办？