已婚男上司的举动让我不知道该如何应对？

我未婚，男上司40岁不到，他在说话时偶尔会无意中摸到我的手，我心想肯定是无意的，叫自己不要多想，但是今天上午他是直接抓住了我的手，很激烈的描述一个工作，这是他的性格有问题还是因为其它？我觉得他不像是好色的人？