創建は天平7年（735年）聖武天皇が大仏造立平安祈願の為、良弁僧正に命じて建立させ十一面観音菩薩を安置したのが始まりと言われましたが、この寺は保延三年（1137年）に焼失しました。その後、承元二年（1208年）笠置寺にいた解脱上人貞慶がこの観音寺の廃址に移り住み、草庵をいとなんで補陀洛山海住山寺と名づけ中興されました。この後を継いだ慈心上人覚真は先師の遺志をうけていよいよ戒律を厳しくし、寺観の整備に力をつくしました。現存の五重塔（国宝）は、建保2年（1214年）慈心上人によって建てられたもので、心柱が初層で止められている点は建築史上有名です。のち、寺門は大いに栄えて塔頭58ヶ坊をかぞえた時期もありましたが、天正年間には現本堂を中心に整備統一されました。昭和38年(1962) の解体修理にあたり、五重塔初重の軒下に裳階が復元されました。