男朋友说我们结婚以后,房子装修好了要让他姐姐、姐夫和小外甥和我们一起住，我不愿意，这样做我自私吗？

一百来个平方的房子，公公、婆婆和我们，以后还要养一个小宝宝，这样就一家五口了，如果加上姐夫一家三口，八个人三室两厅的房子该怎么住？我怕这样以后没有可以安静休息的家还不说，住在一起万一有什么磕磕碰碰事情，到时候弄的大家都不开心就更不好了。但是男朋友却说我太小心眼儿了，我该怎么办？
姐姐、姐夫一家和我们到底是亲戚关系还是可以住一套房子生活的一家人呢?