本地 Web 管理台:通过 SSH 管理远程 NPU 服务器,覆盖 容器准备 → vLLM / vLLM-Ascend 环境 → vllm serve 拉起 → 冒烟测试 → ais_bench 精度测试 全流程。
浏览器 (Vue3 SPA)
↓ REST + WebSocket
FastAPI 后端 (仅监听 127.0.0.1:8878)
↓ Paramiko SSH (密钥认证)
远程服务器 / Docker 容器 / Ascend NPU
- 密码只用一次:添加服务器时输入的密码仅用于把本地公钥(
~/.ssh/id_ed25519.pub)追加到远端authorized_keys(.ssh700 /authorized_keys600),随后即改用密钥连接。密码不落盘、不写日志。 - 后端只监听
127.0.0.1,前端不接触 SSH 凭据。 - 所有远程命令经
shlex.quote参数化构造(backend/command_builder.py),防止命令注入。 - 共享服务器保护:仅本应用创建的容器可 stop/rm(记录在
backend/data/store.json),他人容器只读。 - 运维规范:脚本写
<workdir>/agents/,服务日志写<workdir>/logs/{YYYY}-{MM}-{DD}-{HHMMSS}-{Purpose}-Agent.log;共享服务器上资源冲突(NPU/HBM 被他人占用)只报告不抢占。
git clone https://github.com/Drosrin/npu-console.git && cd npu-console
uv venv .venv --python 3.12
uv pip install --python .venv/bin/python fastapi "uvicorn[standard]" paramiko httpx websockets
# 自检(单测 + 导入检查,无网络副作用)
.venv/bin/python selfcheck.py
# 启动
.venv/bin/python backend/main.py
# → http://127.0.0.1:8878/ (API 文档: /docs)依赖:Python ≥3.10、paramiko、本地 ssh-keygen;代理隧道需要本地 tinyproxy(127.0.0.1:8888)。
首次启动无预置服务器,通过「新建服务器连接」添加(首次用密码引导上传公钥,之后密钥连接)。workdir 默认 /home/<user>/npu-console,请按服务器实际情况改为挂载进容器的共享宿主机路径(如 /mnt、/home 下,可在阶段 1 的 workdir 编辑行修改)。
- 落地自检:顶栏显示本地 Python/paramiko/ssh-keygen/公钥/tinyproxy 状态;公钥缺失时可一键生成。
- 服务器管理:左侧列表实时显示连通性(√/×)与 NPU 可用量(x/y,
npu-smi info解析,HBM ≥ 5GB 视为占用);支持轮询刷新、添加(首连上传公钥)、移除。 - 阶段 1 — 容器 + 环境:
docker ps -a/docker images;选运行中的容器作为目标;- 无容器时基于镜像生成
start-docker.sh(--privileged+ davinci 设备直通 + 宿主驱动栈挂载 + host 网络)预览编辑后执行; - vLLM / vLLM-Ascend 版本与 editable 检查;安装支持 远程 git clone(ref 可配) 或 SFTP 上传本地工作树 两种来源,可走代理;
- 外网检测(pypi/github,判定 OK/LOW/DOWN);不通时一键建立 SSH 反向隧道(远端
127.0.0.1:8888→ 本地 tinyproxy,实测 5-15MB/s)。
- 阶段 2 — vllm serve:可视化配置(tp/pp/dp、max-model-len、gpu-mem、dtype、环境变量、附加参数——常用调试项 chips 一键插入,JSON 配置见提示行);命令预览;启动(脚本入
<workdir>/agents/,日志按规范命名,WS 实时跟随);停止/重启;日志尾部与端口状态;冒烟测试(chat/completions,展示响应与耗时)。 - 阶段 3 — ais_bench:可用性检查(不可用则置灰 + 安装按钮,Python 3.10-3.12 → venv → clone/上传 → pip install -e);数据集列表(73 个)按 README 引导部署(远程 wget 走代理 / 本地下载+上传);任务配置由仓库模板生成、可编辑后保存运行;运行时 WS 实时日志 + POST/RECV/FINISH/FAIL 计数;结果解析
summary_*.csv并可导出到本地exports/。
npu-console/
backend/
main.py FastAPI 入口(静态托管前端,127.0.0.1:8878)
config.py 常量(超时/阈值/端口/预置服务器)
server_store.py JSON 存储(服务器/自建容器/配置/任务历史,无任何密钥)
command_builder.py 命令构造(shlex.quote;setsid+PGID 流式包装)
ssh_manager.py 连接池/密钥引导/实时 exec/SFTP
task_manager.py 任务状态机 + WS 推送 + TERM→KILL 取消
proxy_manager.py net-test + SSH 反向隧道生命周期
routers/ health / servers / containers / env / vllm / aisbench / tasks(+ws)
services/ npu / docker / vllm_env / vllm_serve / aisbench
data/store.json 运行时数据(gitignore)
frontend/ index.html / app.js / style.css / vendor/vue3
scripts/start-docker.sh NPU 容器创建参考脚本
selfcheck.py 自检(导入/注入防护/NPU 解析/存储/配置生成/API 面)
exports/ 导出的结果文件(gitignore)
GET /api/health 本地自检 POST /api/health/ssh-keygen
GET /api/servers 服务器列表 POST /api/servers(密码仅引导)
POST /api/servers/{id}/check 连通+NPU POST /api/servers/check-all
GET /api/servers/{id}/containers docker ps -a GET .../containers/images
POST .../containers/start|stop|remove 创建(脚本)/停止/删除(owned only)
POST .../env/check | env/install 环境检查/安装(任务)
POST .../network/check[?viaProxy] 外网检测 POST .../network/proxy/start|stop
POST .../vllm/start|stop 服务生命周期 GET .../vllm/status
POST .../vllm/smoke 冒烟测试
POST .../aisbench/check|install 检查/安装(任务)
GET .../aisbench/datasets 数据集列表 GET .../aisbench/datasets/{n}/readme
POST .../aisbench/datasets/{n}/deploy 部署(任务)
POST .../aisbench/config/preview|save 生成/保存任务配置 POST .../aisbench/run
GET .../aisbench/results 结果 POST .../aisbench/export
GET /api/tasks 任务列表 POST /api/tasks/{id}/cancel
POST /api/tasks/_selftest 任务系统自测(本地无副作用)
WS /ws/tasks/{task_id} 实时日志与状态(init 回放 + log/status/progress 事件)
- 后端进程重启后:任务历史可查(store),运行中的远程任务若失去跟随可通过任务抽屉重开日志(ais_bench/vllm 的 detached 进程不受影响)。
- 反向隧道用完即停(界面或 API),不留长驻隧道。
- 大文件操作前后注意
df -h(共享磁盘);他人容器/进程绝不触碰。