老公精神出轨了，可以原谅吗？

和老公结婚有三年了，儿子二岁，女儿才二个月，没结婚之前就发现老公喜欢一个女孩，那女孩是他的初恋，读初中时就喜欢她。可以说是单相思，那女孩对他没有记忆了，结婚前我问他是否忘记他了，他说是忘了，最近这二年，他又天天写日志，写QQ签名，，说想她，爱他之内的话，说还在等她，会等他之内的话，那女孩现在还没结婚。我看到后，他就说，他心里一直没有忘记那女孩子，12年了，老公今年才25岁，我们二个人在一起，我为这事和他吵，他又怕我离开，但又忘不了那女的，，我该怎么办