江戸時代、五木村には東俣と西俣それぞれに阿蘇神社がありました。五木村の民衆との結びつきを重視する人吉藩主が代々参詣した神社といわれています。2004年（平成16年）、川辺川ダムにより水没予定の東俣、西俣、白木神社の3社を合祀のうえ、頭地代替地へ遷座しています。