已婚男人向我一个已婚女人表白，我该怎么说不伤他

这位男士，家庭很不幸福，有一女儿，离过一次婚（因为妻子跟别人跑了），又复婚，妻子相当漂亮。他们一家和我们一家成为朋友后，几家经常聚会（还有别的人家）。前天，他告诉我，就在前一阵他差点出生命危险，在他极度恐慌之下 只给我发了一条短信（短信内容其实很平常，就是问我何时回来）他说在他最危难的时候想到的只有我。他很腼腆，对我说这事时那个不好意思啊，连起来就是：如果我能和他过他就离婚。我是一个很顾家的女人，我估计他是被我营造的那种温馨吸引吧。可他要是不说出来多好啊，说出来，对我来说是不会有任何对不起家人的举动的。尽管我老公工作不如他，可我不那么物质我还有可爱的孩子，我不知道怎样对他说才能不伤他，以后聚会我老公和他坐在一起我都觉得别扭，你说以后是聚还是不聚啊，有好几个男人朋友都向我表白，但是没让我离婚啊，就是告诉我喜欢我。怎么现在的男人都这样啊？帮我分析一下，这位i男士是不是泡我玩呢。要是不是，我该怎样回绝他不伤他？