爱了一个不该爱的人，我该怎么办？

爱上了一个人，他有老婆，和老婆的关系也不错，我们的这种关系到目前为止，已经持续了两年。现在我突然不想继续这种生活了，我想拥有一个真正属于自己的家，我和他说，他说他可以给我。我说你有老婆，他说他为了我可以放弃一切。但是我不想这样，因为我担心，将来当我年轻不在的时候，他会不会也会为了别人抛弃我？