恋爱中的性问题

和男友恋爱半年，他多次提出要上床，被我拒绝后很恼火，好几天不跟我说话。多次沟通后他表示理解我的立场，被拒绝后不生气了，但看得出来他没有死心。每次在爱抚的时候他总想脱裤子，被我拒绝后很沮丧。现在我都害怕和他单独相处的了，其他方面我们没什么矛盾，但是这情况怎么解决啊，是不是只能分手了？