조헌의 학문과 덕행을 기리고 지방의 유학교육을 담당하기 위하여 지은 교육기관이다. 조헌(趙憲, 1544∼1592)은 조선 선조(재위1567∼1608) 때의 학자이며, 임진왜란(1592) 때의 의병장으로 금산전투에서 일본군과 싸우다가 700명의 의병들과 함께 전사하였다. 인조 26년(1648) 조헌이 태어난 집터에 서원이 건립되었고, 숙종 1년(1675) ‘우저(牛渚)’라는 사액을 받았다. 서원의 배치는 전형적인 전학후묘(前學後廟)의 구조로, 본당(本堂)과 사당, 강당인 여택당(麗澤堂), 재사(齋舍)인 서재(西齋) 등으로 이루어져 있다. 사당에는 조헌의 위패가 봉안되어 있고, 사당 왼쪽의 비각에는 서원이 창건되기 전에 세워진 조헌선생유허추모비(유형문화재 제90호)가 있다. 흥선대원군의 서원철폐 때 훼철되지 않은 47개 서원 가운데 하나로, 해마다 봄 2월 중정일(中丁日)과 조헌의 기일인 음력 8월 18일에 향사(享祀)를 지낸다.