이준은 1904년 친일조직인 일진회에 대항하는 공진회를 만들어 친일파를 탄핵하다가 그들의 모략에 걸려들어 3년형을 선고받았다. 이준은 1904년 12월24일 황주의 외딴섬 철도로 유배 길을 떠나면서 성경도 함께 가지고 떠났다. 연동교회를 출석하던 그였으나 신앙체험은 미약했었다． 그러나 유배지에서의 고독과 적막은 그로 하여금 성경을 탐독하게 했고 깊은 신앙을 체험하게 되었다．
고종의 특사로 한 달 안에 방면된 그가 남긴 말은 “이번 유배를 통해 예수의 성스러운 희생정신인 십자가의 피의 의를 내 것으로 해야 된다는 것을 절실히 깨달았다. 나의 신앙적 깨달음은 불우한 귀양살이 섬에서 이루어졌다”는 것이었다．