最初に人吉球磨地域に入国したのは多良木荘の相良頼影であり、もともとの相良家の宗家（そうけ・本家）は多良木相良家でした。相良氏が最初に当地へ入ったルーツが多良木相良氏関連の史跡で確認できます。残念ながら、球磨川の改修工事で頼影館の建物は現存しません。