释尊在鹿野苑初转法轮后，住世说法时，建立了几处供平时说法与僧伽修行和“雨安居”的根据地。有建在城市中的，如在舍卫国的祗树给孤独园，在王舍城的竹林精舍，就是最早的寺院；有建在山上的，如王舍城东北的灵鹫山说法台与石室，就是最早的石窟寺。释尊说法不立文字，全凭口传，又禁止为自己造像，所以，这些精舍与石窟，很像是讲演厅加集体宿舍，其中既无经卷，又无佛像。
释尊涅槃火化，火化后的遗骨称为生身舍利(舍利是sarira的音译，本意为尸体或身骨，特指高僧火化后余骨。法身舍利则指经卷)，分成八份，由与释尊因缘深的八个国家各取一份。另有迟到的两国代表，一个拣拾碎骨小块，一个扫骨灰。共合十份，各起一塔供养，总计十塔。塔是Stūpa的音译简称，全译“窣堵波”，意为“高显处”或“高坟”，原是当地的一种纪念性坟墓的通称。造型简单一致：覆钵形，上立长柱形标志“刹”。从此，塔与佛教开始密切联系起来。
相传释尊逝世那一年，大弟子迦叶召集五百比丘，在王舍城七叶窟首次共同忆诵确定并记录佛说内容，这就是第一次结集。当时由阿难诵出释尊所说的理论部分，称为“经藏”。由优婆离诵出释尊所说的清规戒律部分，这部分称为“律藏”。佛经从此产生。
释尊逝世后一两百年间，佛弟子遵守不造像的规矩，但已逐渐将释尊由“觉者”意义上的佛逐渐神化升华为神圣意义的佛。他们开始礼拜释尊的象征物。其中包括：
分藏佛舍利的塔和塔中的舍利；
佛成道时居于其下的菩提树；
佛在菩提树下所坐的吉祥草草垫子——后来美化为“金刚座”；
佛的遗物如钵、佛衣等；
佛留下的足迹——后来越放越大，成为“大人迹”式的大足迹；
表示佛说法的象征物“法轮”——到了一九五○年，世界佛教徒联谊会成立时，决定以法轮为佛教教徽。
在这些礼拜对象中，塔是释尊的归宿所在，成为那一时期佛弟子的主要膜拜物。
后来，随着希腊文化艺术及其神话传说，特别是其造像艺术传入南亚次大陆，佛教徒才造起佛像来。从此，由礼拜塔转到礼拜佛像，由礼拜象微物转到礼拜具体的佛(人像)。塔本身就是一种建筑物，佛像却需找地方安置。于是，纪念堂、礼拜堂类型的佛寺佛殿勃兴。
南亚次大陆佛教徒早期活动场所多为石窟居室式，中置象征物，主要是小型的象征性的塔，四周小龛式居室住人。在我国，刚发展成具有各时代各民族特色的石窟艺术。这是中华民族利用并改造外来文化的例证。而中国佛寺建造则走另一条路。
相传东汉时帝时，摄摩腾、竺法兰两位法师由西域驮经到洛阳，起初住在鸿胪寺，后来明帝敕令于洛阳城西雍门(西阳门)外为他们创建“精舍”，称为白马寺。寺，原为汉代中央部门一种办事衙门的通称，如鸿胪寺、光禄寺等。估计白马寺即为此类机构，有如特设的外宾招待所。可是，这样一来，后世便相沿以“寺”为佛教寺院建筑的通称了。
中国封建社会的建筑思想，似乎是想在整齐划一中规定出等级，所以，无论宫殿、官署、民宅，平面布局都是院落式，变化不大，而在大小、开间等方面显示森严的等级。从一开始，大概就没有想过给佛寺另搞与众不同的专用性设计，如西方基督教的大教堂那样的专门性建筑，那是很难移作他用，特别是绝不能变为民宅的。中国人建寺，走的则是把院落式住宅改造为寺院之路。但在早期，似乎也考虑到突出一些佛教特点。如《魏书·释考志》载：“自洛中构白马寺，盛饰佛图，画迹甚妙，为四方式。凡宫塔制度，犹依天竺旧状而重构之，从一级至三、五、七、九。世信相承，谓之浮图，或云佛图。”这是最早的建寺塔记录。又据《三国志·吴书》卷四的“刘繇传”载，东汉末年，笮融“大起浮图祠”，“以铜为人，黄金涂身，衣以锦彩”，这是讲造像。“垂铜●九重，下为重楼阁道，可容三千余人，悉得读佛经。”这是讲的造塔和塔四周的建筑及其用途。这些都说明，最早的汉化佛寺以塔为中心，四周以堂、阁、廊等围绕，成为方形庭院，内供佛像或舍利，为拜佛诵经之所。
南北朝时，一些新建的大寺院，如北魏洛阳永宁寺，仍采取塔为中心，四周由堂、阁围成方形庭院的布局。这一时期盛行“舍宅为寺”的功德活动。许多王侯贵族第宅改建为佛寺。改建时一般不大改动原布避，而以原前厅为佛殿，后堂为讲堂，原有的廊庑环绕，有的还保留了原来的花园。此种风格布局更属通用式的，成为以后汉化佛寺建筑的主流。南北朝时期的寺院现无存者。作为实物存留的则有石窟寺，以云冈石窟和敦煌早期石窟为代表。中国最早凿建的石窟寺在新疆地区，始于东汉，受南亚次大陆风格影响。十六国和南北朝时，经由甘肃河西走廊一带传到中原，并向南方发展。中原地区早期石窟的建筑，沿袭南亚次大陆于窟内立塔柱为中心的作法，并明显受到汉化建筑庭院布局影响。如，四世纪末建成的云冈第六窟，窟室方形，中心立塔柱，四壁环以有浮雕的廊院，北面正中雕殿形壁龛，即是一例。
