老公精神出轨怎么办?

我们是有了小孩才结的婚，同居时也就是在我怀孕期间，他经常与一女子约会（他对我说是加班），有一次我回娘家住了半个月，回来后那女的晚上打电话来，他没接，引起了我的怀疑，我就查看了电话清单，他们每天电话不断，从他同事那里得知那段时间他没有加班到那么晚的（晚上一两点过后才回家）也没有下乡住过。问他，可是他总说是同事，之所以躲着我通电话那是因为机密，机密也用不着每天都有吧，下班回家吃晚饭也有机密？吃完饭还要加班的话，不等加班再说？现在我的小孩也出生了，他就在家照顾了我一个星期，之后又照常白天上班，晚上加班了。我想离婚，可是他不同意，我应该怎么办？
在这里补充一下，那女的并不是他的同事，因为他们不是在同一个单位。不懂他们是怎么认识的。
他仅有良心的就请了十天的护理假，在生小孩期间照顾我一个星期，有五天是在住院，两天在家。那依然与她偷偷的通电话，在我睡着之后。只是我假装不知道。过后他又继续与她混在一起，对我谎称白天上班，晚上加班，因为他工作时间很弹性，只须星期一去报到外，其它时间很自由。现在我是想离婚，可是他不同意，还说我怎么能拿自己与她比，他对我和她是不一样的。此种话我已听了很多次了，不想再听下去了，要怎么样才能让他心服口服的与我离婚呢？