我们曾经是同事,而且我对他有点感觉,但是因为当时他有女朋友我也就没主动。过了很多年之后,他和我说他喜欢我。而且离婚了。说等我老公不要我时候他取我【我结婚5年了没孩子,我的原因】但是我老公对我很好,我舍不得离开,但是我最近几乎天天都在想喜欢的我那个人,我该怎么办呢。会不会影响我以后的生活。