喜欢已婚的男同事该怎么放手？

我很喜欢单位的一位男同事，我们是同龄人，他的内敛和善良深深地吸引着我，我一天见不到他都会很失落，但我一直警醒自己千万要理智，要把握住自己的情感界限！因为我想与他做长久的朋友！我们在一起聊天很开心，相处得比较好，但我们从来没有在一起单独相处。不知从哪一天起，我感觉到了他对我的冷淡以及对我工作上的挑剔，我很奇怪，也很伤心，因为在工作上我为他做了很多。很久很久以后，我有机会问他原因时，他告诉我外面有人在传我们俩的绯闻。这个结果我很意外，因为我们之间真的没有事。我本来想本没有的事就让别人去说吧，反正时间已过了这么久，还是应该好好珍惜与他的友谊才对，于是我还是象平常那样与他相处，可是我发现，他好象依然在躲我，也很少再与我说话，一般都是我找话说，这种感觉让我很难过，好象我在讨好他一样，虽然人言可畏，但我感觉做为一个男人不该这样吧，好好的友谊为什么非要变成这个样子，难道世人真得容不下只想做朋友的异性相处吗？这样的日子过得好累，我奇怪自己为什么要喜欢这样一个人，他有很多缺点，可是我却依然还是喜欢他，我很矛盾，想找个机会与他单独谈谈，可是也不知道有没有这个必要，或者是说他值不值得我再费心，我好苦恼，我想放下但心里却又非常牵挂他，我该怎么办，我该如何处置这份感情？请好心人帮帮我好吗？谢谢！
非常感谢各位的良言相劝，我想补充的是：我们都有自己的家室，孩子都已10几岁，可能是我没叙述清楚导致了回答者的误会，我正在努力地克制自己，只是心里依然很难受。