都有了家庭,与初恋情人再次相爱了怎么办

他愿意离婚,我也爱他,可家庭还是有好多不舍,老公很爱我,该怎么办呀?
我们都有13岁的孩子,但是还没有做过对不起家庭的举动,我们爱得很纯粹。我们是同学,曾经初恋很甜蜜,只因为一些赌气没在一起,现在彼此思念很苦 ,到底该怎么办?我们现在都无法认真的去工作,思念充斥了整个世界。