Skip to content

feat: 키트 내장 e2e QA 실행기 어댑터 (v2.5.0) - #39

Merged
cskwork merged 3 commits into
mainfrom
feat/v2.5.0-e2e-adapter
Oct 14, 2026
Merged

cskwork merged 3 commits into
mainfrom
feat/v2.5.0-e2e-adapter

Conversation

@cskwork

@cskwork cskwork commented Oct 14, 2026

Copy link
Copy Markdown
Owner

요약

#38(v2.4.0) 위에 쌓은 PR입니다. #38을 먼저 머지한 뒤 이 PR의 base를 main으로 바꾸세요. QA가 시나리오별 스크립트를 저장하게 된 데 이어, 그 스크립트를 e2e 테스트로 쓰는 선택 어댑터를 키트 안에 넣었습니다. 키트만으로 오프라인에서 쓸 수 있고, 갱신은 npm에서 가져옵니다.

시범 측정 (dev 서버, 브라우저 시나리오 4개)

실행 시간 모델 호출 결과
det(모델 없음) 24.6~25.9초 0 2회 모두 5/5
agent 1회차(빈 캐시) 47.8초 10 5/5
agent 2·3회차 32.2~32.6초 2 (agent.assert만, act 3개 재생) 5/5
손으로 짠 스크립트(범위 더 넓음) 292초 — 통과

변경

  • adapters/e2e/: e2e 에이전트 가이드(skills/e2e, Apache-2.0, LICENSE·NOTICE 유지)를 VERSION(e2e 0.20.0, @e2e-dev/web 0.14.0, Node 범위)에 고정해 vendoring했고, update.sh [version]으로 npm에서 갱신합니다.
  • 템플릿: e2e.config.ts, session.setup.e2e.ts(외부 로그인 결과 주입), scenario.e2e.ts(시나리오 ID 태그, det·agent 2층). e2e list와 tsc로 확인했습니다.
  • config qa_runner:(어댑터 선택), qa_session:(팝업·SSO처럼 실행기가 못 하는 로그인 명령).
  • roles/qa.md: qa_runner가 있으면 어댑터 README를 먼저 읽고 det 층으로 판정합니다. 사전점검에서 qa_session을 실행합니다.
  • SKILL.md, README(영·한), config 템플릿 반영. selftest에 어댑터 검사를 추가했습니다(120 checks).

시범에서 확인한 한계 (README에 기록)

  • agent 층은 라벨 이름 변경 회귀를 흡수해 통과시키므로 det locator가 게이트입니다.
  • 잘못된 기대값이 올바른 재생 기록까지 축출합니다.
  • 대상을 못 찾은 재생은 기다린 뒤 넘기고 missed로 집계됩니다.
  • 세션은 sessionStorage를 저장하지 않습니다.
  • 캐시에 입력값이 평문으로 남습니다.
  • 팝업은 지원하지 않습니다.
  • 모델은 사람이 한 번 로그인한 구독을 쓰고, 텔레메트리는 끕니다.

검증

  • bash tests/selftest.sh → PASS: 120 checks
  • 템플릿: npx e2e list로 det·agent 태그 분리 확인, tsc --noEmit 통과(node 타입 제외)
  • sdlc.sh 변경 없음

…n (v2.5.0)

- adapters/e2e/: e2e 에이전트 가이드(skills/e2e, Apache-2.0 LICENSE·NOTICE) 0.20.0 고정 vendoring, update.sh로 npm 갱신
- 시나리오별 det(모델 없음, 판정)·agent(재생 캐시, 선택) 2층 템플릿과 세션 주입 setup 템플릿
- config qa_runner·qa_session, roles/qa.md 연동(사전점검에서 qa_session), SKILL·README 반영
- selftest 어댑터 파일·버전·updater 검사 추가(120 checks)
- templates/popup-bridge.ts: window.open을 같은 탭 iframe으로 바꾸고 opener·close·focus 흉내(같은 origin 팝업), 미지원·차이 명시
- 시범: 뷰어 팝업 2종 det 2회 4/4, iframe 안 agent 단계 2회차 모델 0
- roles/qa.md·README: 열기·닫기·페이지 이동도 서버에 쓸 수 있음 — 공유 데이터는 쓰기 확인 후 변경 가능한 계정만
Base automatically changed from feat/v2.4.0-consumers-qa-rounds to main October 14, 2026 01:04
@cskwork
cskwork changed the base branch from feat/v2.4.0-consumers-qa-rounds to main October 14, 2026 01:04
@cskwork
cskwork merged commit 8ce650a into main Oct 14, 2026
3 checks passed
@cskwork
cskwork deleted the feat/v2.5.0-e2e-adapter branch October 14, 2026 01:17
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant