我有个哥们老是给我借钱,可恶的是他每次借钱都不还或者是要很久才还,有时一借再借到后来大家都记不清他借了多少了。每次借钱时他都装孙子,脸皮又厚,我本来就是个不怎么会拒绝人的人,加上不想把关系搞僵,我吃了他很多亏了,我该怎样办?怎样拒绝借钱给他?