標高251ｍのこの山は、もと笠江岬とか笠沙山（かささやま）と呼ばれ、ニニギノ尊と木花咲耶姫（このはなさくやひめ）の宮居の神話にちなんだ伝説の地である。
周辺には沖田・片田などの貝塚が多いことから古代は海に突き出した半島であったと考えられる。
慶弔年間高橋元種が延岡築城の際、山上にあった愛宕神社をこの地に移したことから山の名も愛宕山と改めたと言われる。
神社の境内は頂上から北面一帯に２３万余坪（約７６万�u）もあり、当国随一の広さといわれた。
すぐ近くに生目神社（目の神様）もある。
　頂上を極天様（ごってんさん）（天空を極める聖地）と敬称し、あわせて頂上の西部を妙見菩薩摩（北斗七星の神仏化）在座の妙見と称し、また男坂を設けて、国守が直接斎主を務める神社としたので、女人禁制の霊山とされた。
日向御前が禁を破って登山をしたと言う逸話が残っている。

○女人禁制の禁を破って愛宕山に登った最初の女性・日向御前
　日向御前（徳川家康のひ孫で有馬直純夫人）は、島原から国替えになって間もなく、延岡城から眺めているうちに、南の方角にあるどっしりとした愛宕山への登山を思い立った。女人禁制の霊域との理由で側近達が止めるのも聞かず、『女と言えども人は人、人の参れぬ領域などあるものか。』と即座に馬を走らせ、登ってしまった。以来、愛宕山のご禁制は解かれ、領内の女性も参拝できるようになった。「奥の院極天様」に残っている鳥居の笠木は、日向御前が奉納したもの。

※「日向御前」
徳川家康の曾孫に当たる。有馬直純の妻で男まさりの性格で活発な行動をしたということから、延岡ではお転婆娘を「日向御前」という。

○「延岡市」誕生の舞台となった「愛宕山」秘話
　工都・延岡の基礎となったのが、旭化成の前身、日本窒素肥料�渇чｪ工場の立地である。その創立者・野口遵（のぐち　したがう）氏は、工場を誘致する際、町を一望に見渡せる愛宕山に登り、同行した銀行の頭取に、『工業用地として、このくらい欲しい。』と日向灘に面する海岸沿い全域をグルリと持っているステッキで指し示した。

　しかし、当時その地域は3つの町村（延岡町、岡富村、恒富村）に分かれており、利害関係も絡み合って用地買収は容易でなかった。そこで、野口氏は「三町村合併案」を提起し、自ら住民の説得に当たった。その熱意もあり、住民も合併に同意、昭和8年、「延岡市」が誕生した。