任圭直 《句讀解法》의 斷辭 분류를 한국 한문-한국어 병렬 코퍼스와 3모델 LLM 판정으로 검증하는 연구 저장소.
이 저장소는 두 단계로 구성된다.
- A. 핵심 정량 연구 — 3개 LLM(gpt-5-mini·gemini·claude-sonnet) 합의 판정으로 斷辭 분류를 검증한다. 파이프라인은
scripts/, 입력은data/, 산출물은results/, 재현 절차는 루트REPRODUCE.md에 있다. - B. 夬絶 가설 분석 — 종결어미 ‘니라’ 대 ‘라’의 효과를 임베딩·클러스터링·LightRAG·DCI·장르 통제로 검토한다. 전부
analysis/아래에 있으며 입구는 analysis/README.md이다.
├─ REPRODUCE.md 재현 가이드 (표본 추출 기준 §8 포함)
├─ scripts/ A단계 재현 스크립트 (목록·명명 규칙은 scripts/README.md)
├─ data/ 입력 데이터 (대부분 비공개·로컬 전용 — data/README.md)
├─ results/ A단계 정본 통계와 공개용 익명 CSV (jev/ = 네 번째 판정자 점검, 보조)
├─ analysis/ B단계 질적·보조 분석 (자체 README)
├─ tests/ 스크립트 테스트 (대부분 합성 문항, 일부만 raw 판정 CSV 필요)
├─ logs/ 실행 로그 (비추적)
├─ sandbox/ 재현 샌드박스 + 웹 진입 앱 (sandbox/README.md)
└─ archive/ 보관용 스냅샷 (비추적)
- 무엇을 했는가 → 아래 핵심 결과
- 어떻게 재현하는가 → REPRODUCE.md
- 데이터를 어떻게 얻는가 → data/README.md. raw 입력은 비공개이며 공개본은 익명화 CSV뿐이다.
- 최신 정량 기준:
results/final_stats_v3.1_cleaned_balanced.json - 요약 통계:
results/cleaned_balanced_stats.json - 합의 판정 truth table:
results/truth_tables_v3.1_cleaned_balanced.json - 강건성·일치도 통계:
results/robustness_stats.json(보고서:results/ROBUSTNESS_REPORT.md) - 네 번째 판정자(Jev) 점검 — 보조:
results/jev/panels/SUMMARY.md(해설:results/jev/README.md) - ‘하다’ 메타데이터 통계:
results/hada_metadata_stats.json - 표준 sentence 입력:
data/sentence_normalized.csv150,545행 - 질적 분석 입력:
analysis/parallel_data_v2_cleaned.tsv11,327행
| 섹션 | Target | Control | Consensus O | χ² | V |
|---|---|---|---|---|---|
| 섹션 1 游辭以斷 | 2,606 | 2,606 | 41.0% vs 6.2% | 1401.76 | 0.519 |
| 섹션 2 夬絶之斷 vs 微絶之斷 | 11,135 | 11,135 | 45.7% vs 27.7% | 986.45 | 0.210 |
| 섹션 3 汎論以斷 | 296 | 296 | 80.7% vs 46.3% | 88.68 | 0.387 |
현재 sentence 기준 ‘하다’ 메타데이터 통계는 출현 12,988건, 歷史書 24.56%, 文集 5.93%, 經傳 0.23%, 詩 0.03%, 기타 0.02%, 歷史書 대 非歷史書 χ² = 17574.78, p < 0.001이다.
세 섹션 효과는 서종(book) 층화 Mantel-Haenszel OR 7.67·2.27·2.04로 층화 후에도 유지된다. 모델 간 일치도(Fleiss κ), 효과크기 95% CI, 합의 정의 민감도는 results/ROBUSTNESS_REPORT.md를 본다.
네 번째 판정자 점검(2026-09-23). 계열이 다른 판정 모델 Jev(TypeSafe, 질문마다 확률 하나만 돌려준다)로 세 섹션 28,074문항을 다시 판정했다. Jev 단독으로도 세 섹션 모두 target > control이다(+38.3·+11.3·+36.8%p). 3모델+Jev 합의에서 MH OR은 8.64·2.17·1.78로, 95% 구간이 모두 1 위에 있다. 섹션2에서는 3모델 중 두 모델이 니라와 라를 거의 가르지 못했는데, Jev가 독립적으로 차이를 낸다. 구성별 산출물과 해석은 results/jev/README.md에 있고, 위 정본 수치는 바꾸지 않았다.
전체 재현 절차(preflight → 판정 → 보충 → 통계 → 익명화)는 REPRODUCE.md를 단일 기준으로 한다. 스크립트 목록과 명명 규칙은 scripts/README.md, 표본 추출과 seed robustness는 REPRODUCE.md §8에 있다.
논문과 문서에서 인용할 정량 기준은 results/final_stats_v3.1_cleaned_balanced.json이다. run_multimodel_judgments.py가 보충 대조군 반영 전 중간 통계를 results/intermediate_multimodel_stats.json에 쓰지만, 인용 기준은 final 파일이다.
斷辭 분류의 LLM 판정은 입력으로 번역문(한국고전번역원 국역, 미공개 저작물)을 사용한다. 번역문을 공개하지 않으면서 외부에서 재현할 수 있도록 두 층으로 제공한다.
- 통계 재현 — 영구·완전 공개: 공개 익명 데이터만으로 보고된 합의 통계를 그대로 재계산한다. 번역문 없이 marker와 판정값만 쓰므로 누구나 영구히 재현할 수 있다.
python scripts/compute_final_stats.py --check --source anon # CHECK PASS LLM 판정 재현 — 한시 공개 샌드박스: 공개 웹 재현 환경에서 동일한 판정 절차를 다시 실행하고 동결 기준 결과와 비교한다. 미공개 입력 자료는 공개 저장소에 포함하지 않는다.현재 라이브 주소(임시 — 변경 시 이 줄을 갱신): https://hearts-identity-announcements-hunter.trycloudflare.com- 지원 종료(2026-07-29): 당초 계획대로 한시 공개를 마치고 라이브 샌드박스 운영을 종료했다. LLM 판정 재현 환경이 필요한 경우 요청 시 제공하며, sandbox/README.md의 구축·운영·보안 설계에 따라 로컬 재구축이 가능하다.
라이브 샌드박스는 한시 공개 운영을 마쳤으며(2026-07-29 종료) 이후에는 요청 시 제공한다. 영구 재현 기준은 공개 익명화 데이터셋과 코드(위 통계 재현)다.