如何处理这种人际关系？

我和一个大学同学刚认识时关系不错吃饭娱乐都在一起，随着时间的推移，我发现他这个人很自私并且非常自我，我不想和他这种人做朋友，有意疏远他，可他还是常常找我，并且总是对我说一些不客气的话，我不知道该怎么办。
我这个人没什么朋友，也不太会和人打交道。