1.佛教文化
佛教源于古印度，从丝绸之路传入中原。有历史可查的是东汉永平年间（58～75年），印度僧人摄摩腾和竺法为汉明帝选佛寺的地址来到五台山，见台怀街后的小山形似释迦牟尼说法处的灵鹫峰，于是在此建我国第二座佛寺，即洛阳白马寺（也是他们所建）之后的最古老寺庙，称大孚灵鹫寺，后改名显通寺。
在佛经《大华严经》中，“东北方有处，名清凉山，从昔以来，诸菩萨众，于中止住。现有菩萨名文殊师利，与其眷属，诸菩萨众，一万人俱，常在其中而演说法。”《宝藏陀罗尼经》称，“佛告金刚密迹主言，我灭度后，于南赡部洲东北方，有国名大震那。其中有山，名曰五顶，文殊童子游行居住，为诸众生于中说法。”
佛经就是释迦牟尼的语录，可见2500多年前古印度佛祖就知道我国有五台山为清凉世界。这说法未必可信，因为释迦牟尼后，印度僧众有过几次集结，由再传弟子们补充释迦牟尼语录。最后一次是其死后500年，相当于我国东西汉交替时，这也许是那次集结时补充到上述经文中去的（那时佛教已传入我国）。
不管经文来源，五台山总是我国佛教四大名山之首。通过它佛教再向北方扩散。到了北魏之前，佛教已影响到由东北迁来的少数民族鲜卑族，所以拓跋人入主中原定都大同后，先在大同云冈开凿石窟，后到太原开凿天龙山石窟，最后到洛阳开凿龙门石窟。山西裂谷成为石窟南传的通道。拓跋人凿佛像融入他们的思想，云冈石窟主窟的最大石佛，面貌就像当时王者（孝文帝的父亲）。后来在开龙门石窟时，武则天学习孝文帝的作风，把自己容貌化入最大坐像中去。
大同云冈石窟
北魏信佛，五台县的佛光寺，代县的赵果观（原名天台寺）、交城的玄中寺都在那时期修建。我国唐代木构建筑保存至今的仅五处，而其中四处皆位于山西，它们是五台南禅寺大殿、佛光寺大殿、平顺的天台庵正殿、芮城的广仁王庙。
唐朝是我国佛教兴起的第一高潮，凭借佛经上的释迦牟尼圣语，五台山寺庙如雨后春笋般在台怀及周围纷纷建起，唐大中年间五台山有寺庙64座。巅峰时期在北齐，有寺庙72处。明万历年间又上升到90座，清初104座。“文革”期间，寺庙破坏剧烈，那时整个五台山仅有僧尼二三十名。改革开放后，拨乱反正，到今天，五台山的台怀周围又有寺庙50余处，僧尼达3000多人。依靠佛门弟子努力，许多曾遭损毁的寺庙纷纷重新建起。许多破败不堪的废寺也获得新生，几乎年年有寺庙新塑佛像金身开光。
五台山在清政府扶植下，接受了大批藏蒙地区喇嘛入驻，菩萨顶成为除西藏外的喇嘛的管理中心，统辖内蒙古、陕甘宁直达青海的所有喇嘛，直到民国年间尚在镇海寺驻有一连藏兵。今天去五台山，约有三分之一僧人是喇嘛，他们五体投地式的长拜，飞快转动的经幢是除北京（雍和宫）外内地看不到的藏传佛教特色。塔院寺高大的白塔可能是全国最高（56.4米），五台山有各种白塔几十座，这也是内地少见的藏族宝瓶式的宝塔。
东晋代县慧运创净土宗，北魏雁门昙鸾在交城玄中寺为立净土学说，派汾人法显西行印度求法，早于唐僧求经。
山西有我国“古代建筑的宝库”之称，这些建筑主要是佛教寺庙传承下来的，只有少量属道教、名人祠堂，还有极少数民居。
寺庙文化中重要一环是佛像，在彩塑佛像中，山西有三绝。一是晋祠圣母殿中宋代42位侍女塑像，与一般寺庙光塑菩萨不塑人的传统不同，这些侍女应该是宋代宫殿中人物的实录，她们姿态各异，神态如生，表情丰富，衣着流畅。梅兰芳大师观后长叹，那是活生生的古代侍女的标本，对他的京剧身段、架势是最好的实物范本，现被列入国家级文物保护对象。二是隰县小西天的“悬塑”，即把佛像放在殿堂柱上、梁上、墙上立体雕塑出来，看起来就像悬挂在空中。其中共有1030尊明代彩塑佛像，其中不乏神兽祥鸟，如孔雀、仙鹤、鹦鹉，还包括狮子、象、虎。这类悬塑在五台山金阁寺也见分布。第三绝是巨型铜佛，金阁寺大殿中释迦牟尼坐像两旁有高20米立佛各一，在金泥表层下露出铜质脚趾，过去认为是木雕像外包金泥，最后证明是巨型立塑铜像外包金泥。
晋祠圣母殿宋代侍女塑像
应县木塔
与佛教建筑伴生的为宝塔，这些宝塔均为单数层，三、五、七，直到十三层。其建材可以是砖木、琉璃，甚至是全木结构。山西省共有古塔200多座，闻名全国的有应县木塔（1056年），为最古老最高大的世界第一木塔，高67米，八角，明五暗九层，六层檐，由辽国仁懿皇后所修。这反映了北方少数民族一进入汉族区就被同化信佛。以前鲜卑族如此，后来辽金如此，元朝、满清也如此。
山西的名塔当有洪洞广胜寺山上的飞虹塔，它和五台狮子窝一样都是通体七彩琉璃塔。另有永济的莺莺塔，它有击石成蛙鸣的特殊声响效果，那是十三层屋檐对声波的梯次反射引发的。五台山显通寺里的铁塔、铜塔，太原的双塔（1608年）高55米，是我国最高的双塔。
2.道教文化
道教是我国自产的宗教，起于春秋时代的老子、庄子，盛于汉、唐，到宋、元达顶峰。佛教修来世，道教修今世。今世为求仙，求长生不老，但无论怎样修也见不到飞升上天。来世的事谁也看不到，因而它不如佛教求来世更具迷惑性。佛教给人以无限的希望，所以它的生命力远比道教兴旺。
道教除了经书外，道观是其主要实物遗留，当然还包括道观中所供奉的仙神。道教在山西省的主要道观有：北岳恒山的悬空寺、吕梁山区的北武当山、太行南段的珏山、中条山西段的五老峰，以及黄河边上永乐宫等6处。
我国的五岳传说是帝舜所封的，也有指商朝时代所封，反正到了秦始皇他就去祭拜五岳了。北岳恒山海拔2016米，在恒山山脉中，它不是最高，也不是次高，属第五，比最高的馒头尖低了400米，但在五岳中，则属最高。
和佛教建筑格式不同，道教建筑的特色有三点：一是大都建在山峰之顶，以更近天庭；二是小而分散，往往都是沿山道从山脚开始立石坊，向上一路孤立小殿直达山顶主殿；三是常有神物相伴，如北武当山有蛇龟二石，珏山有神鬼爬坡，北岳有飞来峰，五老峰有棋盘峰。
我国有八仙过海之八仙，他们都是凡人修炼成仙。北岳恒山为张果老出没之所，山道上有他坐骑所留下的驴蹄印，其实是古海滩的藻礁体上风化溶蚀的几个圆坑而已。张果老还曾娶唐玄宗之女玉真公主为妻，隐居五老峰，同样山石上有驴蹄印迹。五老峰还是传说中吕洞宾出生之地，他也在此修道成仙。五老峰的五老传说是伏羲真传弟子，为解释河图洛书真谛而留守此峰，后代代以五老相传。
悬空寺立于金龙峡的左侧，上凸下凹之百米悬崖下部。建于北魏，原为佛寺，从金代开始佛道儒三者合一，主持者时道时佛，清末到20世纪60年代前是道教。悬空寺其实并非悬空，靠岩壁凿石成孔，横梁楔入，靠外侧立木支撑，殿堂即建于此木梁上。真正悬空的是横排三幢楼阁，第二、三层楼阁之间有悬空走廊相连。人在上行走，楼板会晃动，令人心惊肉跳。
恒山悬空寺
晋城的珏山道观，山顶有两石峰凸起，犹如玉圭一双。中秋赏月，它以月从两峰间升起这一景观而诱人。
芮城永乐宫是为纪念吕洞宾而建的道观，元代所建，观中以面积达1000平方米的壁画而著称于世。1956年为建三门峡水库，芮城及永乐宫在水淹区之内，所以国家耗极大财物之力，才将永乐宫全都编号拆除，再在水淹不到的二级阶地上重新建造。那绘于墙上之壁画先加厚加固，后一块块切下，建好后再拼合成整体。这也是我国为兴修水利而第一座整体搬迁的古代建筑。
20世纪末，介休绵山由三佳集团出资开发，出资10亿元，在中山腰上开山修公路，新建道观面积逾10万平方米，共有7～8个建筑群，那多处高达五六十米的巨型宫殿需用电梯上下，全部装饰金碧辉煌供奉道教所有天尊。全山工作服务人员上千，有一个交通中队负责管理山中交通，有唱诗班（借用天主教之名）收男女青年各20名，着道装，奏道教音乐，唱道教经文。
绵山本来为供奉春秋时期忠臣介子推，重耳在流亡期因饥贫缺食，他割股哺重耳。但在重耳回晋当上晋文公时，他却隐身而退，入绵山而不出，文公想火烧绵山逼他出来就仕以报恩，不料因之将其母子烧死山中。故建庙以祭祀。如今介子推的介庙、介坟仍在，已属陪衬建筑，道教主持了绵山。
道教强调无为，个人修身养性，炼丹补身，后来又倡导阴阳调和，极端部分转化成房中术，深得帝王所好，所以在上层社会地位很高。和佛教相比，道教不建塔，少石窟，只有晋祠西北山龙石窟是道教所为，始于唐，元明时期有所扩建，共有8窟65尊石像，是国内最大道教石窟群。
