このあたりは平城京の一条三坊にあたるところで、称徳天皇が東大寺にならって創建された西大寺のあるところである。
西大寺は称徳天皇が藤原仲麿の反乱があったので、再びこうした不祥事がおこらないようにとの念願から国家鎮護の仏像とされている四天王像の造立を発願されたとのがこの寺の濫觴となったように西大寺の資財流記帳に書かれているが、もう一つの願いは聖武天皇が創建された東大寺に対して、女性としてこれに劣らないような華麗な大寺を自らたてたという願望があったからのようである。
この寺の造営に天皇はしばしば御幸になり、造西大寺司などに位を勧められるなど、造立に大変関心を持たれたが、完成までには相当の年月がかかったようである。しかし、できあがった堂宇は百五十余宇におよび、まことに華麗であったことは「西大寺資財流記帳」や西大寺にのこる西大寺伽藍絵図によってうかがうことができる。
しかし、その後、承和十三年（848）貞観二年（860）延長五年（927）とたびたびの火災にあい、創建当時の宝物は大部分消失したが、鎌倉時代に叡尊（興正菩薩）が新しく真言律宗の寺として再興し、光明真言土砂加持つ法要、修正会、大茶盛りといった行事を創始し国家の安泰と大衆の豊楽を祈る寺とし、国家から大衆からも大きく信仰された寺となった。その後、またまた、文亀年間（1501～04）に火災にあい、江戸時代再建されたが、創建当時には及ばなかった。したがって西大寺の広い境内は田圃や芝原と化し、そこに民家がたちならぶようになったことは、現在通称として残っている。また南都七大寺の一大寺として多くの国宝　重要文化財が保存されている。