大学生能自学物理学吗

我是在校大一学生，对物理学感兴趣，但我们学校没有这个专业，我学的是生物.
我看了一下专业物理，《新概念物理学》感觉较难.
想到别的大学旁听，但会耽误很多学校的课.
自学还是旁听?或是其他?
各位出出主意 谢
我想将来从事有关物理研究.