如何面对没素质的人？

孔子的《论语》总是教我们要“以德服人”，不要为了小事而斤斤计较，要放开胸怀，学会宽恕。面对那些素质低的人，不要与他们计较，道不同，不相为谋！
因为家庭教育的缘故，从小，这些理念性的思想就在我的心里根深蒂固。
我遇到了这样一些人（小人），因为曾经闹过矛盾，便一直记在心里面，时刻注意着你的一举一动，在背后还老说你，有时在讲台上演讲或是站起来回答问题，他总会发出一些轻蔑的声音，为的就是气你。我也忍了好久，本想着要好好整他一顿，但如果真这样做了的话，那不跟他成一类人了么！被狗咬一口，难不成要反咬过去吗？
惹上这种小人，算倒霉了！我应该怎么办？
怎么会有这样的人啊~！心眼太坏了！