辞职后发现原单位依然在给我缴纳社保问题

我的新单位说我的社保不是暂停状态,所以没法和我签订劳动合同,
因为我现在的新单位要求必须在单位买社保才能签订劳动合同,
于是我去社保局查询了一下原因,令我大吃一惊! 我在原单位都已经辞职2年多了,可是原单位一直在给我缴纳社保,至今一直没有停过.后来我去原单位找人事部的问，他们说是他们弄错了.下个月帮我停,但是要找我把这两年多缴纳的钱,按个人窗口缴纳的金额付款给他们,..
我该怎么办? 给还是不给?
上个月都给原单位说了,叫他们马上给我停止缴纳社保.,可是我查了这个月依然还在缴纳,,,我虽然得利了,有免费的社保缴,但是我急着工作啊,总不能这样一直耗下去吧,我好郁闷啊.那我是不是可以申请个失业金呢?