当寺は、開基である法名浄源が明光上人(光照寺)に供し備後に下り、1227(安貞元)年に備中豊谷山に庵を結び、豊谷山光栄寺となる。
その後、「澤岡山(さおかざん)光栄寺」と改称する。本堂での御法座や書道・華道教室、日曜学校などで門徒や地域の人が集うお寺であった。

 第21代住職佐藤純水(2001年往生)が1978年に幕山台に光栄寺分院を建てる。

 また、芳井の光栄寺では念仏会(聞法の会)やみのり会(婦人会)などを通して、「地域に根付くお寺でありたい」また「親鸞様のお念仏のみ教えが伝わってほしい」という願いの中、伝道活動を行う。

 現在の第22代住職佐藤彰雄は、平成4年に法灯を継承し、副住職の知水とともに法務をし、おみのりを伝える。