세 개의 바위가 우뚝 솟아 있는 것이 마치 삼형제가 나란히 서 있는 것 같다 하여 붙여진 이름이다. 전해오는 이야기로는 삼형제가 한탄강에 목욕하러 갔는데, 막내가 물에 떠내려가는 것을 본 두 형이 막내를 구하려다 모두 빠져 죽었다고 한다. 갑자기 아들을 잃은 어머니가 애통해하며 강가를 헤매면서 울부짖은지 석달만에 삼형제의 모습이 강 가운데 나타나더니 갑자기 바위로 변하였다고 전해진다.