Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
17 commits
Select commit Hold shift + click to select a range
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
5 changes: 5 additions & 0 deletions .dockerignore
Original file line number Diff line number Diff line change
Expand Up @@ -14,3 +14,8 @@ htmlcov
*.db
browser_profile
uv.lock
.superpowers
build
dist
output
node_modules
32 changes: 32 additions & 0 deletions .env.example
Original file line number Diff line number Diff line change
Expand Up @@ -63,10 +63,42 @@ SECOND_EYE_IMAGE=second-eye:local
# SQLite 数据库文件路径(Docker 部署时会被 compose.yml 的 environment 覆盖为
# sqlite:////app/data/goodprice.db,容器内改这里不生效)
DATABASE_URL=sqlite:///data/goodprice.db
# 日志与后续媒体缓存目录;测试/独立部署可指定其他目录。
DATA_ROOT=data

# Docker noVNC:默认关闭。临时登录时设置 ENABLE_NOVNC=1,并在 data/.novnc-password
# 写入独立密码;登录完成后恢复为 0 并重启容器。
ENABLE_NOVNC=0
NOVNC_PASSWORD_FILE=/app/data/.novnc-password
# noVNC 对外端口(compose 端口映射与登录页链接共用;需与 BIND_ADDRESS 一起对外可达)
NOVNC_PORT=16080
# 媒体预算:提高数量会增加模型用量、延迟、内存和磁盘;不自动拆分付费请求。
VIDEO_ANALYSIS_ENABLED=false
MEDIA_IMAGE_COUNT=8
MEDIA_VIDEO_COUNT=1
MEDIA_FRAMES_PER_VIDEO=6
MEDIA_IMAGE_QUOTA=4
MEDIA_FRAME_QUOTA=4
MEDIA_TOTAL_LIMIT=8
# 未知模型上限保守8;只有确认提供商支持后才提高,最高16。
MEDIA_MODEL_LIMIT=8
MEDIA_VIDEO_MAX_MIB=100
MEDIA_VIDEO_MAX_SECONDS=180
MEDIA_CACHE_MIB=1024
MEDIA_RETENTION_DAYS=7
MEDIA_DOWNLOAD_TIMEOUT=60
MEDIA_DECODE_TIMEOUT=30
MEDIA_REQUEST_MAX_MIB=16
MEDIA_FFMPEG_THREADS=1
# 分阶段执行预算(设备建议不自动提高访问频率或模型RPM)
EXECUTION_ACTIVE_RUNS=2
EXECUTION_CRAWLER_WORKERS=1
EXECUTION_MODEL_WORKERS=1
EXECUTION_MEDIA_WORKERS=1
EXECUTION_PLATFORM_INTERVAL_SECONDS=10
EXECUTION_MODEL_RPM=10
EXECUTION_GLOBAL_ITEMS=200
EXECUTION_TASK_ITEMS=60
EXECUTION_RUN_DETAILS=30
EXECUTION_RUN_HTTP_ATTEMPTS=60
EXECUTION_RUN_MINUTES=15
12 changes: 10 additions & 2 deletions .github/workflows/ci.yml
Original file line number Diff line number Diff line change
Expand Up @@ -5,6 +5,7 @@ on:
push:
branches:
- main
- release
permissions:
contents: read

Expand All @@ -14,8 +15,12 @@ concurrency:

jobs:
test:
name: Python tests
runs-on: ubuntu-latest
name: Python and browser tests (${{ matrix.os }})
runs-on: ${{ matrix.os }}
strategy:
fail-fast: false
matrix:
os: [ubuntu-latest, windows-latest]
steps:
- name: Check out repository
uses: actions/checkout@v4
Expand All @@ -39,6 +44,9 @@ jobs:
- name: Check whitespace errors
run: git diff --check

- name: Install test browser
run: uv run --locked playwright install --with-deps chromium

- name: Lint (ruff)
run: uv run --locked ruff check .

Expand Down
22 changes: 16 additions & 6 deletions .github/workflows/release.yml
Original file line number Diff line number Diff line change
Expand Up @@ -2,8 +2,6 @@ name: Release image

on:
push:
branches:
- release
tags:
- 'v*.*.*'
permissions:
Expand All @@ -19,8 +17,12 @@ env:

jobs:
test:
name: Release tests
runs-on: ubuntu-latest
name: Release tests (${{ matrix.os }})
runs-on: ${{ matrix.os }}
strategy:
fail-fast: false
matrix:
os: [ubuntu-latest, windows-latest]
steps:
- name: Check out repository
uses: actions/checkout@v4
Expand All @@ -41,8 +43,17 @@ jobs:
- name: Install test dependencies
run: uv sync --locked --extra dev

- name: Install test browser
run: uv run --locked playwright install --with-deps chromium

- name: Check whitespace errors
run: git diff --check

- name: Lint (ruff)
run: uv run --locked ruff check .

- name: Run tests
run: uv run --locked pytest -q
run: uv run --locked pytest -q --cov --cov-fail-under=80

docker:
name: Build and publish GHCR image
Expand Down Expand Up @@ -71,7 +82,6 @@ jobs:
tags: |
type=semver,pattern={{version}}
type=semver,pattern={{major}}.{{minor}}
type=raw,value=release,enable=${{ github.ref == 'refs/heads/release' }}
type=raw,value=latest,enable=${{ startsWith(github.ref, 'refs/tags/v') }}

- name: Build image and publish version tag
Expand Down
55 changes: 55 additions & 0 deletions CHANGELOG.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,55 @@
# 更新记录

本文件记录用户可感知的变化与升级注意事项。正式版本见 [GitHub Releases](https://github.com/Comui520/second-eye/releases)。

## [Unreleased]

## [0.2.0] - 2026-10-27

### 新增

- 同一商品链接下的型号/容量等规格、价格证据与人工报价;区分明确售价、区间价、询价和冲突,避免用占位价格推荐。
- 图片与视频采样帧的混合分析、证据关联和受限媒体缓存;可配置输入数量、超时、磁盘预算与FFmpeg线程。
- 持久化分阶段执行、容量与请求预算、版本/租约校验、恢复游标、独立通知投递。
- 可配置抓取/媒体/模型并发及设备建议;识别容器有效资源,在内存不足时临时降低并发或缓派。
- 通知历史中核验后重试与取消待发送通知的操作。

### 调整

- 移除整任务结束后固定300秒等待;保留平台导航间隔和模型RPM,慢模型期间可推进其他任务的抓取。
- 按商品输入复用独立评分缓存,避免批次成员变化引起重复请求;浏览器在所属线程复用并隔离上下文。
- 设置页按账号、模型、通知、媒体、资源分类独立保存,凭据留空保持,清除需确认。
- 静态样式和HTMX随应用提供;正常运行不需要Node.js/npm或连接CDN。
- main/release及正式Tag使用Windows/Linux测试、页面测试和覆盖率门槛;正式Tag通过检查后发布GHCR镜像。

### 修复

- 筛选商品后进入详情再返回时筛选丢失、加载更多重复请求,以及自动刷新打断选择和滚动。
- 商品标题/规格/报价变化或证据过期后沿用旧评分的问题;聚合前再次核验评分对应的价格。
- 任务暂停或修改后的迟到结果、超额候选丢失、卖家风险与拉黑行为在新流水线中的兼容问题。
- 通知响应中断后可能重复发送,以及删除商品后SQLite复用编号导致漏发或误发旧通知的问题。
- 启动时重写历史评分、旧图片字段漏分析、缓存恢复未核验内容和DNS阻塞超过下载时限的问题。

### 升级注意

- 升级前停止服务,备份实际数据目录中的数据库及配置;迁移会新增表和字段。回退请同时恢复旧镜像与升级前数据库备份。
- 同一数据目录只运行一个应用进程。Docker使用镜像 `ghcr.io/comui520/second-eye:0.2.0`;版本Tag不包含镜像标签中的前导`v`。
- 自定义ASGI启动改用 `uvicorn goodprice.main:create_app --factory`;常规 `python -m goodprice` 启动方式不变。
- 视频默认关闭;新安装默认总视觉输入上限8张(混合时优先4原图+4帧),旧库保持4张直至明确修改。
- 提高输入数量或并发会增加模型费用消耗速度、延迟、内存和磁盘压力;设备建议不会自动提高媒体配额或访问频率。
- 外部渠道接受情况无法确定时显示“结果未知”,需核验后人工重试,可能重复。

### 已知限制

- 真实闲鱼多规格/视频控件仍需更多样本验证;不能识别时保留待核验。共享样品不代表具体规格实物品相。
- 仅处理直接HTTP(S)媒体;不支持blob、HLS/DASH及受保护流。视频帧不代表完整视频、音频或动态故障验证。
- 本地uv/Conda的视频分析需要自行安装FFmpeg;Docker已内置。macOS/ARM未完成实机验收。
- 持久化与恢复增加SQLite开销,小批及时评分可能增加冷轮请求数,不承诺所有工作负载都更快。详见 [验证记录](docs/validation/2026-10-27-phase3-milestone.md)。

## 历史版本

- [v0.1.1](https://github.com/Comui520/second-eye/releases/tag/v0.1.1)
- [v0.1.0](https://github.com/Comui520/second-eye/releases/tag/v0.1.0)

[Unreleased]: https://github.com/Comui520/second-eye/compare/v0.2.0...HEAD
[0.2.0]: https://github.com/Comui520/second-eye/compare/v0.1.1...v0.2.0
8 changes: 7 additions & 1 deletion Dockerfile
Original file line number Diff line number Diff line change
Expand Up @@ -15,12 +15,18 @@ ARG HTTPS_PROXY
# not invalidate the large Chromium download.
COPY requirements.lock ./

# Use authenticated HTTPS transport and bounded retries for Debian downloads.
# Keep repository signatures enabled; transient HTTP CDN 502s are not a reason
# to bypass apt authentication.
RUN sed -i 's|http://deb.debian.org|https://deb.debian.org|g' /etc/apt/sources.list.d/debian.sources \
&& printf 'Acquire::Retries "3";\n' > /etc/apt/apt.conf.d/80-second-eye-retries

RUN env HTTP_PROXY="${HTTP_PROXY}" HTTPS_PROXY="${HTTPS_PROXY}" \
http_proxy="${HTTP_PROXY}" https_proxy="${HTTPS_PROXY}" \
sh -c 'pip install --no-cache-dir --retries 10 --timeout 120 -r requirements.lock && playwright install --with-deps chromium'

RUN apt-get update \
&& DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends x11vnc novnc websockify \
&& DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends x11vnc novnc websockify ffmpeg \
&& rm -rf /var/lib/apt/lists/*

COPY pyproject.toml README.md ./
Expand Down
77 changes: 73 additions & 4 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,9 @@
[![License: MIT](https://img.shields.io/badge/license-MIT-green)](LICENSE)
[![Python](https://img.shields.io/badge/Python-3.11-blue)](https://www.python.org/)
[![CI](https://github.com/Comui520/second-eye/actions/workflows/ci.yml/badge.svg)](https://github.com/Comui520/second-eye/actions/workflows/ci.yml)
[![Release](https://img.shields.io/github/v/release/Comui520/second-eye)](https://github.com/Comui520/second-eye/releases)

版本更新见 [CHANGELOG](CHANGELOG.md),正式版本与镜像说明见 [GitHub Releases](https://github.com/Comui520/second-eye/releases)。

一个面向中文二手市场的本地开源工具:按关键词和价格区间监控闲鱼商品,使用 LLM 进行需求匹配、品相分析和批量性价比判断,并通过多种通知渠道推送结果。

Expand Down Expand Up @@ -31,8 +34,6 @@

Docker 是推荐的通用部署方式:应用、Python 依赖、Chromium 和 noVNC 都封装在镜像中,Windows、macOS、Linux 和 NAS 使用同一套 Compose 配置。

本仓库不再把 Windows 双击启动器作为公共安装接口。仓库中曾经使用的 `.cmd`/PowerShell 启动器只适合作者自己的 Windows 工作流,已从 Git 追踪中排除;它们不会影响 Docker Compose 和跨平台手动启动方式。

## 快速开始:Docker Compose

### 1. 获取代码并创建配置
Expand Down Expand Up @@ -210,6 +211,72 @@ Conda 不是运行本项目的必需条件;新用户优先选择 Docker 或 uv

## 配置

### 规格与价格证据(实验性)

监控任务可在详情页填写目标型号/容量(例如 `iPhone 15 / 256GB`)。
商品页面标价保留为原始观察,不代表目标规格的实际售价;仅明确规格价格才用于预算与性价比判断。
价格私聊、区间价、信息冲突或详情提取失败的商品保留为待确认,不以占位价推荐。
“待询价提醒”需在任务中主动开启,默认不增加外部通知。

商品详情可单独确认/撤销人工报价,默认有效期 7 天;人工报价优先,但证据变化需复核,
过期证据不继续作为推荐依据。人工报价与页面价的来源切换不当作降价。
设置最低品相分后,未核验的图片或多规格共享样品不会绕过门槛。

当前支持可明确识别的商品范围 DOM 数据与 Schema.org Product/Offer,尚未取得真实多规格页面样本来验证所有闲鱼控件,
不能识别时显示待核验而不是猜测。v0.2.0已接入分阶段调度,并完成合成数据的Windows/Linux容器回归;真实平台组件兼容性仍有上述限制。

### 图片与视频证据

设置页的“媒体证据与用量”可配置保留数量、每次原图/帧配额、总输入上限、超时、缓存和解码线程。
视频默认关闭;新安装默认一次最多8张,混合媒体先分配4张原图+4帧,单一媒体可借用余量。
旧数据库默认保持4张上限;提高预算需明确确认费用、延迟、内存、存储和提供商限制,硬件建议不会提高图片数。
模型上限未知时按8张处理,只有确认提供商支持后才可提高(最高16);不自动拆成多个收费请求。

只处理详情主媒体的直接HTTP(S)资源。blob、HLS/DASH、受保护流及未知页面结构会明确跳过,
不保证所有闲鱼页面的视频组件都能识别。视频仅采样起/中/末画面,不验证音频、整段动作或动态故障。
没有明确规格关联的图片/帧是共享证据,不能据此确认某一SKU的实物品相;任务设置最低品相分时仍需有效评分。

Docker镜像内置FFmpeg/ffprobe。本地uv/Conda运行须自行安装FFmpeg并加入PATH;缺工具时视频不可分析,应用和图片功能仍可用。
视频默认最大100MiB、180秒,下载60秒、解码30秒,缓存1GiB/7天;处理中的视频和临时输出同样计入磁盘预算。
缓存被清理后保留证据摘要与时间位置,页面显示文件不可用;媒体文件通过内部编号访问,不公开签名下载地址或本地路径。
相同内容的签名URL变化不会单独触发重复视觉收费,内容/需求/模型/选图设置变化才使分析缓存失效。

### 导航与设置整理

列表的任务、状态、价格状态、排序、已加载范围会带入详情及操作返回链接。加载更多不再反复请求同一页,
页面返回与原生后退可恢复列表位置;选择商品或操作表单时不自动替换正在使用的列表。
设置分为账号、模型、通知、媒体与资源,单独保存互不覆盖,凭据留空保持原值,清除需明确确认。
页面使用随包提供的 HTMX 和预编译样式,保留现有简洁界面,普通启动不需要连接 CDN 或安装 Node.js。
维护者修改样式类后可按 `goodprice/web/static/THIRD_PARTY.md` 重建 CSS。

设备建议只在本机检测 CPU、内存及容器限额,不上传机器标识或自动提高配置;低占用/均衡仅设置工作并发,
不会增加视觉输入、开启视频或提高访问频率。设置页显示保存配置与内存保护后的实际并发;内存不足时暂缓派发,恢复后继续。

### 分阶段执行与恢复

应用使用单进程协调器,把搜索、详情、解析、媒体、模型、聚合拆成持久化步骤。默认允许两个任务分阶段推进,
抓取、媒体、模型工作并发各1;慢模型期间可继续抓取另一任务。取消原有整任务结束后的固定300秒等待,
保留同账号单页面导航和默认10秒平台间隔。普通启动不需要Redis、Celery或Node.js。

默认模型上限10次HTTP请求/分钟,每轮最多30个详情、60次模型尝试和15分钟墙钟时间;重试也占配额,
429的Retry-After会延后请求。超出预算或工作容量的候选保留游标,下轮继续;暂停、删除或修改任务后拒绝旧结果。
降低并发时先排空正在执行的步骤。浏览器在所属线程内复用,任务间使用独立上下文;同一数据目录只运行一个应用进程。

每个规格按自己的确价与证据独立评分,再在当前有效、已完成的候选中比较。内容、提示词、需求或模型配置变化使缓存失效;
批次成员变化不重新请求已缓存的独立评分。每次视觉输入仍遵守媒体设置,不通过增加图片或自动拆分请求来加速。
本轮分析期间仅价格过期、其他已采集内容未变时,可刷新价格并复用已采集媒体;这不表示媒体被重新下载或核验。

通知按渠道独立持久化,发送前重新检查规格价格和任务条件。已成功渠道不自动重发;进程中断或超时可能显示“结果未知”,
需自行核验后确认重试,可能重复。删除尚未发送的通知会取消其投递,正在发送的通知无法撤回。

持久化和恢复会增加SQLite读写开销,纯本地无网络工作不一定比串行实现快。离线对照可运行
`uv run --locked python scripts/benchmark_stages.py --rounds 3 --output output/benchmark`,
报告相同30件合成商品的覆盖、冷/热模型调用、SQL、耗时和Python资源;压缩逻辑时钟排除真实导航等待,不能用作真实平台提速比例。
本次升级的验证范围和已知开销见 [升级验证记录](docs/validation/2026-10-27-phase3-milestone.md)。

应用现使用无导入副作用的工厂;自定义 ASGI 部署请使用 `uvicorn goodprice.main:create_app --factory`,
原有 `python -m goodprice` 启动方式不变。升级旧库前先停止服务并备份数据库,回退使用旧镜像与备份库成对恢复。

配置文件:

~~~text
Expand Down Expand Up @@ -257,11 +324,13 @@ Docker 和本地运行都会在项目的 data/ 目录中保存 SQLite 数据库
~~~bash
git switch release
git pull --ff-only origin release
git tag -a v0.1.1 -m "Release v0.1.1"
git push origin v0.1.1
git tag -a v0.2.1 -m "Release v0.2.1"
git push origin v0.2.1
~~~

普通 PR 和 main/release 推送会执行测试和 Docker 构建校验,但不会覆盖正式镜像。
上面的版本号为下一次发版示例;发版前同步 `pyproject.toml`/锁文件并更新 CHANGELOG,通过检查后推送新Tag。
GitHub Release的版本说明使用CHANGELOG对应条目,待该Tag的镜像发布成功后再公开版本。

## 开发与测试

Expand Down
Loading
Loading