Das Kloster soll 326 von einem indischen Mönch gegründet worden sein, der fand, die felsige Anhöhe gegenüber (170 m hoch) sehe aus wie ein Berg seiner Heimat - als sei dieser nach China herübergeflogen. Von den heutigen Klostergebäuden ist keines älter als 150 Jahre. Die überlebensgroßen Figuren der heiligen Mönche sind die größten derartigen in China.