已婚男同事和我年纪差不多大,结婚比较早,刚刚有小孩,因为工作接触的关系逐渐产生了好感,因为彼此很有默契,经常有不自觉相视一笑或者心里想的什么对方下一句就说出来,他是个很有责任心的男人,无论是工作还是生活,我们一直保持正常同事关系没有一丝暧昧,虽然知道不应该却忍不住一直想他,觉得自己是个很坏的人,想换个环境,又狠不下心,该怎么办