我是个已婚女人,但是在三年前找了个情人,现在我很爱他,甚至有想过为了他跟老公离婚,开始他也对我很好,可是就在上个月我发现他有别的女人了,他也知道我知道了,现在我想离开他,但是又有点放不下,怎么办,心好痛