清正公というのは、肥後熊本藩の初代藩主「加藤清正」のことです。人吉藩攻略のため南下した加藤清正は、やっとのことで、この岩山を越え眺めた先には、延々と険しい山々と球磨川の激流が続いています。あまりの険しさに「この岩より先は相良にくれる」と言い残し、熊本へ引き返したそうです。