提起少林寺，人们首先想到的可能不是“禅宗祖庭”，而是独步天下的少林功夫。的确，在许多外国人眼里，少林武术几乎已经成了中国功夫的代名词，许多国际友人不远万里来到中国就是想一睹少林功夫的风采和魅力。而少林寺之所以能成就今天的武学地位，这与它自身的历史是密不可分的。

少林寺原本是魏孝文帝为西域和尚跋陀所建，因其坐落于嵩山的腹地少室山下的茂密丛林中，故名“少林寺”。《魏书·释老志》中有一段关于跋陀与少林寺的记载：“又有西域沙门名跋陀，有道业，深为高祖所敬信，诏于少室山阴，立少林寺而居之，公给衣供。”而唐释道宣的《续高僧传》中关于跋陀的记载则更加丰富。跋陀又名佛陀跋陀罗，在天竺时交了六个朋友，同修定业，其他五人都成功了，只有他没有收获。在迷茫之际，一位朋友告诉他说，有些事是要靠缘分的，机缘到了，自然成功。你的机缘应在震旦（中国），到那里度两个弟子，一定会有所收获。于是跋陀来到北魏都城平城（今山西大同）。此时北魏孝文帝刚刚亲政，对这位天竺和尚特别崇敬，并为他设立“禅林”。之后，孝文帝迁都洛阳，将跋陀也带了过去。到达洛阳后，跋陀不愿住在城内，喜欢去深山幽谷，并且多次到了嵩山，于是孝文帝在嵩山为跋陀建立了少林寺。

由于跋陀受到皇室的推崇，少林寺建寺以后即声名远扬，前来求教者络绎不绝。跋陀一面讲经授法，一面翻译辑录从天竺传来的佛经，少林寺逐渐成为了北方的佛门圣地。跋陀所传的禅法叫“三藏心禅”。“三藏”包括经、律、论。经，是指佛教的原始典藉，如《金刚经》《涅槃经》等，都是印度原始经典的翻译。律，是指佛教的戒律。戒与律其实是有区别的，戒主要是指需要自己去遵守的规定，包括规定和处罚方式；律是为规范佛教憎人的行为而作出的规定。后来戒和律统称为“戒律”。论，是指经典的阐释，即中国僧人对佛教经典作的解释。跋陀不仅要求修禅者诵读佛教的“三藏”，还要求其潜心参禅打坐。跋陀这种禅法属于传统印度禅法，在当时是非常流行的。跋陀晚年不再参加寺里的活动，而是自己寻了一个隐秘的地方参禅打坐，直至圆寂。所以，至今在少林寺找不到跋陀的基地或塔。

在传经诵法的过程中，跋陀收了两个弟子，一位是僧稠，一位是慧光。在那时收弟子必须要看“慧根”。僧稠从小饱读诗书典籍，曾被征为太学博士，后来出家学律，最后来到少林寺跟随跋陀学习禅法。待跋陀圆寂后，僧稠开始弘法讲经，学者达百余人，皇室也对其倍加恩宠，晚年于少林寺坐化。慧光后来也成为佛学巨匠，对中国佛学的发展作出了重大贡献，并开启了中国律宗，后世尊其为“律宗五祖”。关于慧光，至今少林寺还保留着关于他的传说：据说慧光年幼时在洛阳街头踢毽子，一连500下，众人甚是惊奇，纷纷围观。此时恰逢跋陀路过，于是上前围观，发现他有超人的天赋，遂收其为徒。

在少林寺创立初期，跋陀为了能更好地弘扬佛法并扩大少林寺在佛教界的地位而选择了颇有“慧根”的弟子，一方面，可以将其禅法传授给弟子并通过弟子发扬光大；另一方面可以借弟子的贡献为少林寺在佛教界奠定崇高的地位。跋陀及其两大弟子慧光和僧稠都是少林寺乃至中国佛教历史上赫赫有名的僧人，他们共同为少林寺今后的壮大发展奠定了基础。