少林寺建寺以来，经历了数废数兴的曲折历史。
　　574年(北周建德三年)武帝禁佛，寺宇被毁。大象年间重建，易名陟岵寺，召惠远、洪遵等120人住寺内，名“菩萨僧”。隋代大兴佛教，敕令复少林之名，赐柏谷坞良田百顷，成为北方一大禅寺。唐初秦王李世民消灭王世充割据势力时，曾得寺僧援助，少林武僧遂名闻遐迩。高宗及武则天亦常驾临该寺，封赏优厚。唐会昌年间，武宗禁佛，寺大半被毁，迄唐末五代，寺渐衰颓。宋代略有修葺。1312年(元皇庆元年)，世祖命福裕和尚住持少林，封赠为大司空开府仪同三司，统领嵩山所有寺院。一时中外僧众云集，演武礼佛，僧众常有2000人左右。
　　元末农民起义，红巾军至少林，僧众散逃。明代先後有八位皇子到寺内出家，屡次诏令大修，寺院规模有所发展。清代康熙、雍正、乾隆诸帝亦很关心少林寺，或亲书匾额，或巡游寺宇。1928年因遭兵燹，天王殿、大雄殿等许多建筑、佛像、法器被毁。寺内现存有山门、客堂、达摩亭、白衣殿、地藏殿及千佛殿等。千佛殿内有明代500罗汉朝毗卢壁画。寺旁有始建于791年（唐贞元七年）的塔林，有塔220余座，还有初祖庵、二祖庵，以及附近的唐法如塔、同光塔、五代法华塔、元代缘公塔等。寺内保存唐以来碑碣石刻甚多，重要的如《唐太宗赐少林教碑》、《武则天诗书碑》、《戒坛铭》、《少林寺碑》、《灵运禅师塔碑铭》、《裕公和尚碑》、《息庵禅师道行碑》和近年建立的《日本大和尚宗道臣纪念碑》等。该寺近年来曾屡加修缮，使千年古刹重放异彩。现存建筑包括常住院及附近的塔林、初祖庵、二祖庵、十方禅院、达摩洞等。

　　少林寺，鼎盛时期规模很大。1928年，军阀混战，军阀石友三火烧少林寺，把天王殿、大雄宝殿、法堂和钟楼等主要建筑统统毁于一炬；许多珍贵的藏经、寺志、拳谱等烧成灰烬。1982年后，国家为方便中外文化交流对少林寺进行了大规模修复重建，现已形成以山门、天王殿、大雄宝殿、藏经阁、方丈室、立雪亭、西方圣人殿为主题的嵩山少林建筑群。天下第一名刹焕发出新的光彩。
少林寺地处中国中原腹地嵩山地区，交通发达，创建于中国历史上第一次中外文化交流大高潮之际——北魏太和十九年（公元495年），孝文帝为了安置他所敬仰的印度高僧跋陀尊者，在与都城洛阳相望的圣山——嵩山少室山北麓敕建少林寺。跋陀在少林寺传授小乘禅法，属于印度传统的止观禅法。得法者有僧稠、慧光、道房等，皆为一代高僧。其中僧稠以禅法名世，被跋陀誉为"自葱岭以东，禅学之最"。由于嵩山为当时北方坐禅修道中心，加上跋陀与孝文帝的特殊关系，所以跋陀的弟子及其再传弟子们，皆成为当时禅学的重要精英群体，对后世佛教发展影响巨大 。