추출 실패 경로의 WARN 소음과 홈 리다이렉트 판별 정리

[m-a-king]

왜

전 서비스 WARN 알림 첫날 실수신 (2026-09-18)

• 참조: 서버 에러 로그 알림을 전 서비스 WARN·ERROR 알림으로 전환 core#1105
• 뜬 3종 모두 extractor

logger	원문	성격
org.apache.hc.client5.http.protocol.ResponseProcessCookies	cafe24 몰이 Set-Cookie domain 을 자기 도메인이 아닌 *.cafe24.com 으로 내려 HttpClient 가 거부	외부 요인 소음, 추출 결과 무관
HttpPageFetcher	link fetch failed: status=404	없는 상품 URL 등록, 정상 실패
FallbackProductLinkExtractor	extract escalate=headless outcome=failed	core 파싱 실패 알림과 같은 실패, 알림 2건

홈페이지 리다이렉트를 상품 페이지 아님으로 확정

• 참조: core item 2219, packnfold.co.kr
• 등록 URL 에 인스타그램 광고 파라미터(utm_* 6개·fbclid) 포함
• 몰이 302 로 사이트 루트(/)로 돌려보냄
  • 결과: 홈페이지 본문 약 6만 토큰을 Gemini 에 보내 NOT_PRODUCT_PAGE
  • 결과: 재시도 1회 동일, Gemini 호출 2회 소모
• 이후 재현 없음
  • 조건: 로컬·extractor 박스에서 파라미터 유무·UA·헤더 동일하게 요청
  • 몰 쪽 일시 동작으로 판단

무엇을

로그 레벨 조정

대상	조치
ResponseProcessCookies	application.yml 에서 해당 logger 를 ERROR 로
HttpPageFetcher.statusFailure	4xx 는 INFO, 5xx 는 WARN 유지
FallbackProductLinkExtractor.escalateToHeadless	실패 로그 INFO

요청 전 추적 파라미터 제거

• utm_*·fbclid 는 페이지 내용과 무관
• 위험: 몰마다 파라미터에 의존하는 경우 확인 필요

요청 경로 밖으로 튕긴 리다이렉트 판별

• 요청은 /product/..., 최종 URL 이 사이트 루트면 상품 페이지 판정 전에 실패 처리
• 원인: Gemini 호출 없이 재시도 가능한 실패로 분류
• 결과 코드는 계약 카탈로그(infra) 확인 후 결정

[m-a-king]

추적 파라미터 제거는 core 에 이미 있음

• 참조: core product/domain/CanonicalLink.kt:48-49
  • utm_*·af_*·airbridge* 접두사와 fbclid·gclid·igshid·yclid 제거
• 용도는 상품 정체성(중복 판정)뿐
  • 결과: extractor 로는 원문 URL 이 그대로 전달 (item 2219 트레이스의 http.url 에 파라미터 포함)
• 대안: core 가 extractor 호출 시 canonical URL 을 보내는 방식
  • 규칙이 한 곳(core)에 남음
  • 이 이슈의 "요청 전 추적 파라미터 제거" 항목은 core 이슈로 옮길 수 있음

dev 재등록 실측 (2026-09-18 09:56 KST)

• 깨끗한 URL 등록 후 수 초 내 READY, 가격 99,000 KRW
• 파라미터 포함 URL 은 canonical 중복으로 409 (WISH-009)

[m-a-king]

범위 이관

• "요청 전 추적 파라미터 제거" 항목은 상품 URL 저장 시 추적 파라미터 제거 core#1116 으로 이관
  • 원인: 제거 규칙(CanonicalLink)이 core 에 있고, 저장 전에 떼면 요청·응답·재파싱이 한 번에 정리됨
• 이 이슈에는 로그 레벨 조정과 홈 리다이렉트 판별만 남음