我的老婆不漂亮，我很纠结啊怎么办好！

我今年28，身高185，老婆162，和我老婆4年了，2年恋爱，2年结婚。4年前我确实是个孩子，做事不考虑周全，我老婆身材不错，当初色字头上一把刀，稀里糊涂就找了她（我主动），后来发生关系发现是处女，我们又是一家公司的同事，之前还是同居的状态，考虑到分手后的一些很麻烦的问题，就结婚了，但是我自己知道我自己，很花的个人，但又不是十恶不赦的混蛋，所以结婚时我仔细想过，那时不想和她结婚，可又考虑到责任的问题，于是带点勉为其难的结了，直到现在我都没有彻底做决定，如果现在让我重新选择我还是会拿不定主意结不结婚！婚后2年的生活过的还算平静，是因为自己不去想纠结的问题，老婆也确实是很周到的妻子！她不算丑，可是我并不觉得她漂亮，这问题几乎是致命的，出门总是留恋个子高的美女，还很羡慕那些女人身边的男人，觉得自己条件并不比他们差，心里很不舒服！4年的感情，说不爱她心疼她是假的，放下也不容易。也因为这些原因，吵架时我很不愿意让着她，有时确实是感觉不幸福，她也是，我也是！她爱我是真的，我也不愿意伤害她，可是一直这样下去总是觉得不开心啊，很压抑啊！感觉像委屈了自己，为了别人去活着，而自己的感受彻底放弃了，真的是为了自己年轻时的冲动付出了代价。纠结的情绪真是日益加重，我们还没有孩子，我要不要选择离婚，离婚后肯定是她要比我难的太多，可是不离婚就是自己不开心，还是继续这样生活！我该怎么做好？
回答问题的达人，设身处地的为我想想，不要给我两个答案，我现在就有两个答案。只是想听听如果换成是你怎么选择，事情走到这一步不用说当初我该怎么做，现在懂，当时懵，也别骂我是禽兽，禽兽不纠结，禽兽只会自私，也不会来度娘打这么多字！