如何对付无赖小人型

有时突然冒出句话，正常人都接不上话，而且也懒得搭理，可也不能太纵容了吧。
比如小人对另外一个同事说，
“你不动脑子”
“我做坏人做惯了，你做好人做惯了”
“你现在工作行了吗，会某某工作了吗”
“TMD，他忙，我比他还忙。你说他忙是什么意思？”
“你现在积极性不高呀”
“你说过的伤害我的话，我都没记着”
（后两句是对我说的）
这个人是大家公认的小人，靠拍马屁当的领导。没有人待见他。
我一个新人，不能多说话，看他总欺负我的一个上级，有些打抱不平。而我的上级是个挺窝囊的人。
如果我遇到这个小人欺负我，我应该怎么办呢？
提前做好准备