喜欢上了 前男友的 好兄弟 怎么办

我和我前男友 分手4个月了 （谈了3年） 然后我来到了其他的一个城市。就慢慢的和前男友的 好兄弟走的很近，慢慢的我们就觉得喜欢上了对方。 但他告诉我 我的前男友还是喜欢我的。
他要我们在一起， 他们的兄弟感情也因为我一去不复返。 我很难受 很有负罪感。
但我怕 他会介意我和我和前男友的过去吗？