Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

Repository files navigation

pipeline/ — 논문 검색 · 전문 추출 · 표 추출 파이프라인

주제어로 논문을 찾고, 전문을 뽑고, 표를 구조화해서 꺼내는 트리입니다. 설계 의도와 배경은 docs/PRD.md 참조.

할 수 있는 것

🔍 논문 검색 PubMed 주제어 질의 → 논문 목록 CSV (search/pubmed_search.py)
📄 전문 추출 PMC-OA · Unpaywall · S2 · CORE · 로컬 PDF → GROBID/pdfplumber → 품질 게이트
📊 표 추출 GROBID TEI + JATS + pdfplumber 합집합 → 표별 CSV + 캡션
🖼 OCR 텍스트 레이어 없는 스캔본 자동 감지 → OCR → 스캔본에서도 표 추출
📦 완전 독립 PIPELINE_STANDALONE=1 로 이 폴더만 들고 다른 PC에서 실행

5분 시작 — 주제어부터 표까지

cd pipeline
make install                      # .venv + 의존성
cp config/.env.example .env       # NCBI_ENTREZ_EMAIL 만 채우면 시작 가능
make grobid-up && make grobid-wait

make search QUERY="multiscale entropy AND aging" MAX=100
make fill   CSV=data/raw/search_multiscale-entropy-and-aging.csv
make tables PDF_DIR=data/pdfs

산출물:

data/raw/search_*.csv                     검색 결과 + title/abstract/main_text
data/out/tables_index.csv                 전 코퍼스 표 목록 (1행 = 1표)
data/out/tables/<paper_id>/table_01.csv   표 격자
data/out/tables/<paper_id>/tables.json    캡션·라벨·출처·치수

make help 로 전체 타깃을 봅니다. make config 로 경로 해석 결과를 확인합니다.


완전 독립 모드

이 폴더만 다른 PC·서버로 복사해서 쓰려면:

make bootstrap        # data/ 구조 + .env 에 PIPELINE_STANDALONE=1
make config           # 모든 경로가 pipeline/ 내부인지 확인

검색 기반 워크플로는 바깥 데이터가 전혀 필요 없습니다 — 검색이 스스로 레코드를 가져오고, PDF 티어가 스스로 파일을 받고, 표는 그 PDF에서 나옵니다.

독립 모드에서 안 되는 것 4가지 (트레이스백 대신 안내 메시지로 멈춥니다):

스크립트 이유
core/audit_title_pmid.py csmed repo의 git 히스토리에서 fillna 이전 상태를 읽음
aeon/rename_*.py (3개) AEON repo에서 git mv 실행
core/fix_pmid_*.py CSMeD-FT.zip 정답셋 필요
external/build_external_ft_test.py 살아있는 Cochrane 세션 쿠키 필요

기본값(독립 모드 끄기)에서는 형제 repo의 기존 데이터셋을 그대로 씁니다.

원본은 건드리지 않았습니다. AEON_datatset/, csmed-dataset/, systematic-review-datasets/ 는 그대로입니다.


구조

pipeline/
├── Makefile              유일한 실행 진입점
├── search/
│   └── pubmed_search.py      주제어 → 논문 목록 (파이프라인의 앞단)
├── core/
│   ├── grobid.py             ★ GROBID 클라이언트 단일화 + TEI 보존
│   ├── tables.py             ★ 표 파서 3종 + 합집합
│   ├── extract_tables.py     ★ 표 추출 진입점
│   ├── fillna.py             전문 충전 (기반 라이브러리 겸 진입점)
│   ├── ocr_pdfs.py           스캔 자동 감지 → OCR → 표
│   └── download_pdfs.py, audit_title_pmid.py, fix_pmid_*.py
├── docker/
│   ├── docker-compose.yml    GROBID 0.8.1 (8070, healthcheck)
│   └── grobid_health.py      /api/isalive 폴링
├── config/settings.py        모든 경로·엔드포인트의 단일 출처 (+ 독립 모드)
├── aeon/                     AEON 전문 추출 + PDF 관리 + 검증
├── external/                 Cochrane OA 크롤러
└── data/                     pdfs · .cache · raw(검색결과) · out(표)

core/ 는 AEON_datatset/scripts/ 와 csmed-dataset/scripts/ 를 합친 것입니다. 두 디렉터리는 9개 파일 전부 byte-identical 이었으므로 한 벌만 남겼습니다.

표 추출이 어떻게 되나

새 라이브러리가 없습니다. GROBID가 이미 <figure type="table"> 안에 <row>/<cell> 격자로 표를 돌려주고 있었고, 파이프라인이 <head>(라벨)만 줍고 셀을 버리고 있었을 뿐입니다. 그게 기존 main_text가 "see Table 1"이라고만 하고 표 내용은 없던 이유입니다.

core/grobid.py가 이제 TEI 원본을 캐시에 남기므로, 표 추출은 이미 받아둔 TEI를 다시 읽기만 합니다 — 두 번째 실행은 GROBID 시간이 0입니다.

GROBID와 pdfplumber는 서로 다른 표를 잡습니다(실측: 한 논문은 GROBID 3/pdfplumber 0, 다른 논문은 GROBID 0/pdfplumber 13). 그래서 합집합을 취하고, 셀 내용 유사도로 중복을 제거합니다.

격자를 복원하지 못한 표도 캡션이 있으면 버리지 않고 grid_recovered=False로 기록합니다 — "표가 없었다"와 "표를 놓쳤다"를 구별할 수 있어야 하기 때문입니다.


전제 조건

항목 비고
Docker GROBID 구동용. Apple Silicon에서는 linux/amd64 에뮬레이션이라 기동에 수 분 걸립니다
Python 3.9+ make install
ocrmypdf core/ocr_pdfs.py 전용. brew install ocrmypdf
curl external/ 의 쿠키 기반 Cochrane 요청
NCBI_ENTREZ_EMAIL 없으면 NCBI가 요청을 조인다

SEMANTIC_SCHOLAR_API_KEY · CORE_API_KEY 는 선택입니다. 없으면 해당 티어만 건너뜁니다.


실행 순서

새 워크플로 (주제어 시작)

make search QUERY="..." → make fill CSV=... → make tables PDF_DIR=...
make ocr                  # 스캔본이 섞여 있으면: 자동 감지 → OCR → 표까지

기존 데이터셋 — make extract-csmed / make extract-aeon

grobid-up → grobid-wait → csmed-pdfs → csmed-fill → csmed-ocr
grobid-up → grobid-wait → aeon-build → aeon-verify

grobid-wait 가 앞에 붙어 있는 건 편의가 아니라 안전장치입니다. GROBID가 죽어 있어도 파이프라인은 실패하지 않고 텍스트 전용 폴백으로 조용히 내려앉아 대부분을 unmatched 로 기록하며, 그 잘못된 리포트로 기존의 정상 리포트를 덮어씁니다. 자세한 건 PRD의 "알려진 제약" 절.

플래그는 ARGS 로 넘깁니다:

make aeon-build ARGS="--manual-only --dry-run"
make external-build ARGS="--oa-strict --resume"

설정

경로는 전부 config/settings.py 한 곳에서 나옵니다. 기본값은 원본 repo를 가리키므로 .env 없이도 종전과 동일하게 동작합니다. 옮기고 싶으면 .env 에서 CSMED_ROOT / AEON_ROOT / EXT_ROOT 등을 덮어쓰면 됩니다.

make config 가 해석된 값과 실제 존재 여부를 함께 보여줍니다.


보안

  • .env 와 쿠키 파일은 .gitignore 에 있습니다. 커밋하지 마세요.
  • Cochrane 쿠키(COCHRANE_COOKIE_PATH)는 살아있는 세션 자격증명입니다. 이 트리는 경로로만 참조하고 파일을 복사하지 않습니다.
  • 원본 csmed-dataset/.env.example 에는 placeholder가 아니라 실제 API 키가 평문으로 들어 있습니다. 여기로 가져오지 않았습니다 — 원본 쪽 키 정리는 별도 과제.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages