我爱上了一个离婚男人我该怎么办？

我21岁爱他了比我大6岁的他 他有个女儿4岁了 他对我很好他问过我如果我爱上了离婚的男人我怎么办？我是回答说分手 在这同时还有个女孩也喜欢他 他也问过同样的问题那个女孩 那女孩回答只要爱不管是否有过婚史 所以他走的时候带走了那个女孩 后还他同我讲实情 开始我点接受不了 可我是爱他的 所以我跟他说可以给他个机会
他说近来几天他前妻又打电话说要的他争女儿的抚养权 他很无奈
最后他说他还欠那女孩钱 要我给他时间 我的性子太急了 最后和他说以后做个陌生人吧！
可我现在很难受 每天想他 不停的想他我该怎么办？ 我该怎么做？
他 的前妻不是个很明白事理的人 和他妹妹打架 所以离婚的，