1519년(중종 14) 기묘사화로 난을 피하여 도립리로 낙향한 엄용순이 건립한 정자이다. 당시의 명현인 김안국(金安國)을 비롯하여 강은(姜濦)·오경(吳慶)·성두문(成斗文)·임내신(任鼐臣) 등 다섯 선비들도 함께 낙향하여 이 정자에 모여 시를 짓고 학문을 논하였는데, 이들을 가리켜 괴정육현(槐亭六賢)이라 하였다 한다. 이 정자 앞에 여섯 사람이 우의를 기리는 뜻으로 느티나무 여섯 그루를 심어 육괴정이라 불렸다. 처음에는 초당으로 지었다고 하나, 그 뒤 여러 차례의 중건을 거쳐 지금은 팔작집으로 된 본당과 이를 둘러싼 담장과 대문으로 되어 있어 정자가 아닌 사당의 형태를 지니고 있다.