西芳寺は暦応2年(1339)、奈良時代の創建と伝える西方寺に日本庭園の祖といわれる夢窓疎石(むそうそせき)が入山して復興し、浄土宗を禅宗に改めた寺院である。このとき、寺号も西芳寺とした。庭園は、夢窓疎石がそれまでの池泉を改修したものである。
枯山水を中心とした上段の庭園と、黄金池を中心とした下段の庭園に分けられる。疎石の復興当初、西芳寺はすでに天下の名園としてその名をとどろかせていた。
しかしながら、応仁元年(1469)の応仁の乱によりほとんどの建物は焼失し、江戸時代には2度にわたって洪水にも見舞われて荒廃した。庭園が苔でおおわれるのは江戸時代末期に入ってからのようであるが、定かではなく、誰がいつから西芳寺を苔寺と呼ぶようになったかも誰も知らないという。