爱上了一个离婚不离家的女人。

我是一个离婚的男人。离婚之后前后交了几个女朋友？后来遇到我一个小学同学。对我非常好。她也离婚了。但是因为有一个孩子。她没有离开那个家。还跟她以前的丈夫生活在一起。不在一个房间住。我俩到一起已经四年了。只有她前夫值班的时候。她才上我这儿来。住一晚上。从我俩在一起。我以前交的那几个女朋友，我就跟她们不来往了。可是我没删除她们的电话号。现在的女朋友要发现了。总因为这个事跟我。吵架。我怎么解释？这几年没跟她们有来往。都没用。是我错了吗？还是女人都小心眼。