和男友恋爱了3年后，还该不该再继续下去？

我是外地的，在上海遇见了他，是个上海人，有过一次失败的婚姻，还有个小孩，但监护权在母方。我们认识了3年多。2年前，他为了我，和家里闹翻了（因为我是外地人），结果就搬出去住，我和他在外面租房子生活了一段时间，那时我们过的很开心。
后来他又重新回到了自己家，我也每周末回去陪她，在生活上，他是一个好男人，也对我非常体贴，把我照顾的好好的。我也知道，他为了我，自己失去了很多，这几年他都在给他父母做思想工作，他父亲对我态度改变了许多，每次回来都让我和他们一起吃饭。
可是他母亲我受不了，有时我看见他在楼下时，给她打招呼，她也不理睬。还有因为我们和他父母离得很近，就在对门，我男友有个小孩，所以每个月她会有2次过来，她喊我男朋友叫爸爸时，我心里很难受。 我也试着去接受他的女儿，但最后我还是不太能忍受。并且小孩也是我男友的父母一手带大的，对这个孙女，他们都很宝贝的。这让我将来如果和他结婚了生下孩子了，会不会也能得到爷爷奶奶的疼爱？因为他们说了，结婚了以后什么事他们都不管。
还有就是我男友的问题，但有点不上进，他以前是做采购的，因为失业了一段时间，最近他注册了一家公司，对有的事他不去钻研和了解。我是做销售的，目前因为公司刚运作，所以有的单子我给他做，让他熟悉起来，
但最近我也不知道为什么，就是对他做的事都不怎么满意。还有就是，最近半年来，我们都经常吵架，有时候吵得厉害的话，他还摔东西，自己划伤自己，还有时他因为生气，他也开始掐我了，并且掐的很疼，以前吵架他不是这样的，感觉他现在有暴力倾向了。
现在我的脾气因为他的，也变了，所以总会为点事就和他而吵架，有事没事我就说分手，他听得非常的生气。
前几天我们又吵了，我和他说我们整天吵架，分手算了。事后，他说了，为了我，上面那些坏习惯都会改掉，今年即使他父母不同意也把婚结了，并且以后搬到其他地方住，
我们都彼此深爱着对方，我不太会照顾人，他是个好老公，但有点斤斤计较，他的心脏也不太好，一生气就会心痛。我今年29了，再不嫁的话，就没人要了，但一想到加上他们家的原因，又有个小孩的，他还有些家庭暴力，我也知道，我也有不对的地方，也很难去改掉。我真的很烦，不知道我到底该怎么办？
还有一点，我们至今都没发生过关系，他也对我很执着，愿意去等，即使没有性生活，他也愿意。