话说这事是存在对错 还是不存在对错。

就是我小舅子，我这个哥哥是我姐姐的对象，我姑姑的准女婿。
事情差不多是这样的，我姐姐最近脚给受伤了。
然后她对象就来我家把我姐姐送进了医院去检查。
后来回来时，我正好在自己房间里休息，然后听门开了的声音。
当时我就只穿了一个裤衩。
后来我听见我姑姑说话的声音，没听见我这个哥哥的声音。然后我就想去看看是我哥哥还在我家还是离开我家了，如果还在的话就回房间穿好衣服送他出去。然后我就穿着裤衩出去了。
当时我心理想着我这个哥哥上高中时在宿舍应该也光穿过裤衩，应该不会觉得我太随便什么的，然后其次是觉得我和姐姐还有姑姑比较惯。后来一出去被我这个哥哥看光了，后来我姐姐说我这个哥哥觉得我太随便了，影响不好。
然后还问我姐姐说你弟弟怎么不注意点啊？后来我姐姐给我找了我去给妈妈开门的借口给圆了一下。
其实我后来自己也觉得心理很丢人，很不舒服。
心理特别有压力，怕我这个哥哥会跟我姐姐结婚以后说我这个弟弟是暴露狂千万不要和我来往什么的。我和我姐姐在微信上说了一下，我姐姐说是我想太多了。
那么问题来了，请客观回答，这件事是误会还是单纯的对错问题。我有没有必要跟我姐夫当面解释清楚，还是我姐姐替我说了就算过去了