我结婚了 还有了孩子 但是我爱上了别人

我结婚三年了，有了一个一岁多的孩子，但是我爱上了别人，很爱很爱她，但是我不知道我该怎么办，假如我离婚啦，对老婆孩子伤害得多大，扔下他们我又不忍心。
我和我老婆婚姻生活吵架经常有，但是还不至于过不下去，我们吵架不是因为我现在有了外遇才吵架，而是生活中很多的事，总是吵，在一起两人也不怎么说话，我们俩都还很年轻，经常不在一起，但是回到家还是没有多少话说。
但是我真的不放心孩子，不知道单亲家庭的生活或者重组家庭的生活会给孩子带来多大的伤害，我也不曾一次的想过，既然有了孩子婚姻就不是两个人的事，更多的是责任，我现在真的好烦老，不知道该怎做，我和那女孩经常抱着哭一夜，我们彼此真的很相爱，现在应该有好多相视的人也遇到这样的问题，希望大家提提意见 谢谢
我们结婚更多的是互相之间怜悯，从小的生活经历相似，所以才走到一起，哎....生活总是这么的不如意，哪有我们想象的那么美好呀！不过我应该明白了爱情和责任哪一个更重要，感谢你们的帮助 非常感谢