已婚男人的暧昧

他是个年轻的已婚男人。
因为工作关系，我们认识了，我刚毕业，我们认识时就知道他已经结婚了。
后来一系列的接触，虽然时间不长，但是我明显感觉到他对我特别关注。我们关系不错。
后来他向我表白了。我说我们不可能，劝他回归家庭。
他说觉得妻子对他很好，可是他最爱的女人是我，觉得很对不起妻子。
我没有给他任何希望，我不想做第三者破坏别人家庭。
经过一段时间的接触后，现在我们没有在一起工作了。
我觉得我还是有时会触景生情，还是会想念他。他的问候和牵挂，还是会令我特别温暖。有时候我还是会想他，不知道他过的好不好，不知道他工作怎么样。但是我早就下定决心，不再主动联系他了。更尽量不见他了。
我该怎么办啊？我这样是不是很不对？

拒绝他的表白，劝他回归他的家庭的时候，我心在流泪，心里很酸，但是我还是很坚持很理智。
拒绝他以后越发想他，但是我忍住！似乎很想收到他的消息，有很怕收到。
很难过，怎么办？