寺の縁起によれば、大同２年（８０７）７月７日、激しい雷雨の中、天より紅い竜が舞いおりて一夜にして小さな島を作ったという。すると、この日から天地はグラグラと揺れ、島の一角からは毎夜まばゆい光が射すのだった。不思議に思った里人があたりを訪ねると、岩屋の中に３寸ほど（約９センチ）の御仏があった。人々はたいそう驚き、小さな祠を建て御仏を祀ったのだという。その後、弘法大師空海がこの地を訪れた際、霊威を感じ伽藍（がらん）を建立。山号寺名を定めたといわれている。
現在の本堂は、享保２年（1717）に建てられたもので、総朱塗り、三方破風入母屋造りで正面 に千鳥破風 がつけられています。屋根は銅板に葺きかえてあります。 　江戸中期における下総地方の名建築といわれています。