烦。求解答。

我跟我的几个朋友之前在一家新开的劳务派遣公司上班。然后昨天离职了。他要求我退还他补给我的两千块钱。可这两千块钱本来就是我打工的钱工时单的介绍人也是他但他那时候没给我钱说被别人黑了然后说补给我两千现在我离职了他要求我退还他2000我没给。他说要来我老家找我报复我。