我和已婚男人在一起两年了，我开始不介意他的婚姻，他包容着我，我却很心烦想离开他

我和已婚男人在一起两年了，我开始不介意他的婚姻，他包容着我，我却很心烦想离开他他在外地工作，和他妻子更是关系越来越僵硬，他和他妻子结婚十年了，有个十岁的儿子，她很少给他送过礼物，衣服什么的，前几天妻子又和他妈妈闹矛盾，她和他妈妈相处不来，他一直想离婚，然后和我在一起，我对他也爱的很深，不想让他的婚姻受到影响，我未婚，如果和他结婚，肯定要摆酒的，我们这样的关系在一起会不会遭到家人反对？