주제어로 논문을 찾고, 전문을 뽑고, 표를 구조화해서 꺼내는 트리입니다.
설계 의도와 배경은 docs/PRD.md 참조.
할 수 있는 것
| 🔍 논문 검색 | PubMed 주제어 질의 → 논문 목록 CSV (search/pubmed_search.py) |
| 📄 전문 추출 | PMC-OA · Unpaywall · S2 · CORE · 로컬 PDF → GROBID/pdfplumber → 품질 게이트 |
| 📊 표 추출 | GROBID TEI + JATS + pdfplumber 합집합 → 표별 CSV + 캡션 |
| 🖼 OCR | 텍스트 레이어 없는 스캔본 자동 감지 → OCR → 스캔본에서도 표 추출 |
| 📦 완전 독립 | PIPELINE_STANDALONE=1 로 이 폴더만 들고 다른 PC에서 실행 |
cd pipeline
make install # .venv + 의존성
cp config/.env.example .env # NCBI_ENTREZ_EMAIL 만 채우면 시작 가능
make grobid-up && make grobid-wait
make search QUERY="multiscale entropy AND aging" MAX=100
make fill CSV=data/raw/search_multiscale-entropy-and-aging.csv
make tables PDF_DIR=data/pdfs산출물:
data/raw/search_*.csv 검색 결과 + title/abstract/main_text
data/out/tables_index.csv 전 코퍼스 표 목록 (1행 = 1표)
data/out/tables/<paper_id>/table_01.csv 표 격자
data/out/tables/<paper_id>/tables.json 캡션·라벨·출처·치수
make help 로 전체 타깃을 봅니다. make config 로 경로 해석 결과를 확인합니다.
이 폴더만 다른 PC·서버로 복사해서 쓰려면:
make bootstrap # data/ 구조 + .env 에 PIPELINE_STANDALONE=1
make config # 모든 경로가 pipeline/ 내부인지 확인검색 기반 워크플로는 바깥 데이터가 전혀 필요 없습니다 — 검색이 스스로 레코드를 가져오고, PDF 티어가 스스로 파일을 받고, 표는 그 PDF에서 나옵니다.
독립 모드에서 안 되는 것 4가지 (트레이스백 대신 안내 메시지로 멈춥니다):
| 스크립트 | 이유 |
|---|---|
core/audit_title_pmid.py |
csmed repo의 git 히스토리에서 fillna 이전 상태를 읽음 |
aeon/rename_*.py (3개) |
AEON repo에서 git mv 실행 |
core/fix_pmid_*.py |
CSMeD-FT.zip 정답셋 필요 |
external/build_external_ft_test.py |
살아있는 Cochrane 세션 쿠키 필요 |
기본값(독립 모드 끄기)에서는 형제 repo의 기존 데이터셋을 그대로 씁니다.
원본은 건드리지 않았습니다.
AEON_datatset/,csmed-dataset/,systematic-review-datasets/는 그대로입니다.
pipeline/
├── Makefile 유일한 실행 진입점
├── search/
│ └── pubmed_search.py 주제어 → 논문 목록 (파이프라인의 앞단)
├── core/
│ ├── grobid.py ★ GROBID 클라이언트 단일화 + TEI 보존
│ ├── tables.py ★ 표 파서 3종 + 합집합
│ ├── extract_tables.py ★ 표 추출 진입점
│ ├── fillna.py 전문 충전 (기반 라이브러리 겸 진입점)
│ ├── ocr_pdfs.py 스캔 자동 감지 → OCR → 표
│ └── download_pdfs.py, audit_title_pmid.py, fix_pmid_*.py
├── docker/
│ ├── docker-compose.yml GROBID 0.8.1 (8070, healthcheck)
│ └── grobid_health.py /api/isalive 폴링
├── config/settings.py 모든 경로·엔드포인트의 단일 출처 (+ 독립 모드)
├── aeon/ AEON 전문 추출 + PDF 관리 + 검증
├── external/ Cochrane OA 크롤러
└── data/ pdfs · .cache · raw(검색결과) · out(표)
core/ 는 AEON_datatset/scripts/ 와 csmed-dataset/scripts/ 를 합친 것입니다.
두 디렉터리는 9개 파일 전부 byte-identical 이었으므로 한 벌만 남겼습니다.
새 라이브러리가 없습니다. GROBID가 이미 <figure type="table"> 안에
<row>/<cell> 격자로 표를 돌려주고 있었고, 파이프라인이 <head>(라벨)만 줍고
셀을 버리고 있었을 뿐입니다. 그게 기존 main_text가 "see Table 1"이라고만 하고
표 내용은 없던 이유입니다.
core/grobid.py가 이제 TEI 원본을 캐시에 남기므로, 표 추출은 이미 받아둔 TEI를
다시 읽기만 합니다 — 두 번째 실행은 GROBID 시간이 0입니다.
GROBID와 pdfplumber는 서로 다른 표를 잡습니다(실측: 한 논문은 GROBID 3/pdfplumber 0, 다른 논문은 GROBID 0/pdfplumber 13). 그래서 합집합을 취하고, 셀 내용 유사도로 중복을 제거합니다.
격자를 복원하지 못한 표도 캡션이 있으면 버리지 않고 grid_recovered=False로
기록합니다 — "표가 없었다"와 "표를 놓쳤다"를 구별할 수 있어야 하기 때문입니다.
| 항목 | 비고 |
|---|---|
| Docker | GROBID 구동용. Apple Silicon에서는 linux/amd64 에뮬레이션이라 기동에 수 분 걸립니다 |
| Python 3.9+ | make install |
ocrmypdf |
core/ocr_pdfs.py 전용. brew install ocrmypdf |
curl |
external/ 의 쿠키 기반 Cochrane 요청 |
NCBI_ENTREZ_EMAIL |
없으면 NCBI가 요청을 조인다 |
SEMANTIC_SCHOLAR_API_KEY · CORE_API_KEY 는 선택입니다. 없으면 해당 티어만 건너뜁니다.
새 워크플로 (주제어 시작)
make search QUERY="..." → make fill CSV=... → make tables PDF_DIR=...
make ocr # 스캔본이 섞여 있으면: 자동 감지 → OCR → 표까지
기존 데이터셋 — make extract-csmed / make extract-aeon
grobid-up → grobid-wait → csmed-pdfs → csmed-fill → csmed-ocr
grobid-up → grobid-wait → aeon-build → aeon-verify
grobid-wait 가 앞에 붙어 있는 건 편의가 아니라 안전장치입니다.
GROBID가 죽어 있어도 파이프라인은 실패하지 않고 텍스트 전용 폴백으로 조용히
내려앉아 대부분을 unmatched 로 기록하며, 그 잘못된 리포트로 기존의 정상
리포트를 덮어씁니다. 자세한 건 PRD의 "알려진 제약" 절.
플래그는 ARGS 로 넘깁니다:
make aeon-build ARGS="--manual-only --dry-run"
make external-build ARGS="--oa-strict --resume"경로는 전부 config/settings.py 한 곳에서 나옵니다. 기본값은 원본 repo를
가리키므로 .env 없이도 종전과 동일하게 동작합니다. 옮기고 싶으면
.env 에서 CSMED_ROOT / AEON_ROOT / EXT_ROOT 등을 덮어쓰면 됩니다.
make config 가 해석된 값과 실제 존재 여부를 함께 보여줍니다.
.env와 쿠키 파일은.gitignore에 있습니다. 커밋하지 마세요.- Cochrane 쿠키(
COCHRANE_COOKIE_PATH)는 살아있는 세션 자격증명입니다. 이 트리는 경로로만 참조하고 파일을 복사하지 않습니다. - 원본
csmed-dataset/.env.example에는 placeholder가 아니라 실제 API 키가 평문으로 들어 있습니다. 여기로 가져오지 않았습니다 — 원본 쪽 키 정리는 별도 과제.