我喜欢上了一个有家室的男人，他天天陪着我，对我很好，可是我想想觉得我该去过自己的生活，这样毕竟不好

我喜欢上了一个有家室的男人，他天天陪着我，对我很好，可是我想想觉得我该去过自己的生活，这样毕竟不好,也不会长久。可是他也不肯分手，每次闹，他都哄我，就是不分，我心又软，没次又都好回去。我现在该怎么办？