創建年月は不詳だが、人皇３４代舒明天皇２年秋９月に初めて祭事を営んだと伝えられる。
延喜式外の古社で甲斐国風土記と和名抄に、古郡幸燈明神と記載がある。
永禄９年に加藤丹後守景忠が再興した後、慶長、元和、寛永年間に改築加修された。明治５年に郷社となる。明治５年に古昔の社殿を模して本殿を改築し拝殿を新築した。境内の祖霊社は赤宮と呼び、約４００年前の本殿の改築で、三間社流造の建築様式は、北都留郡唯一のもの。

祖霊社　神道における祖先のお祀りの社殿

明治３１年の由緒調査の古老の伝説によると、牛倉の名称は、「古来より、この郷を主宰する神人（守人）がいて、ウシと称し倉庫を設けて租税を収めた。日本武尊の東征に随従して転ずるた後に倉庫の跡地にウシ倉神社を奉建する。」

由来の撫で牛