Skip to content

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

3 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

NPU Console

本地 Web 管理台:通过 SSH 管理远程 NPU 服务器,覆盖 容器准备 → vLLM / vLLM-Ascend 环境 → vllm serve 拉起 → 冒烟测试 → ais_bench 精度测试 全流程。

浏览器 (Vue3 SPA)
   ↓ REST + WebSocket
FastAPI 后端 (仅监听 127.0.0.1:8878)
   ↓ Paramiko SSH (密钥认证)
远程服务器 / Docker 容器 / Ascend NPU

安全模型

  • 密码只用一次:添加服务器时输入的密码仅用于把本地公钥(~/.ssh/id_ed25519.pub)追加到远端 authorized_keys(.ssh 700 / authorized_keys 600),随后即改用密钥连接。密码不落盘、不写日志。
  • 后端只监听 127.0.0.1,前端不接触 SSH 凭据。
  • 所有远程命令经 shlex.quote 参数化构造(backend/command_builder.py),防止命令注入。
  • 共享服务器保护:仅本应用创建的容器可 stop/rm(记录在 backend/data/store.json),他人容器只读。
  • 运维规范:脚本写 <workdir>/agents/,服务日志写 <workdir>/logs/{YYYY}-{MM}-{DD}-{HHMMSS}-{Purpose}-Agent.log;共享服务器上资源冲突(NPU/HBM 被他人占用)只报告不抢占。

安装与启动

git clone https://github.com/Drosrin/npu-console.git && cd npu-console
uv venv .venv --python 3.12
uv pip install --python .venv/bin/python fastapi "uvicorn[standard]" paramiko httpx websockets

# 自检(单测 + 导入检查,无网络副作用)
.venv/bin/python selfcheck.py

# 启动
.venv/bin/python backend/main.py
# → http://127.0.0.1:8878/   (API 文档: /docs)

依赖:Python ≥3.10、paramiko、本地 ssh-keygen;代理隧道需要本地 tinyproxy(127.0.0.1:8888)。

首次启动无预置服务器,通过「新建服务器连接」添加(首次用密码引导上传公钥,之后密钥连接)。workdir 默认 /home/<user>/npu-console,请按服务器实际情况改为挂载进容器的共享宿主机路径(如 /mnt、/home 下,可在阶段 1 的 workdir 编辑行修改)。

使用流程

  1. 落地自检:顶栏显示本地 Python/paramiko/ssh-keygen/公钥/tinyproxy 状态;公钥缺失时可一键生成。
  2. 服务器管理:左侧列表实时显示连通性(√/×)与 NPU 可用量(x/y,npu-smi info 解析,HBM ≥ 5GB 视为占用);支持轮询刷新、添加(首连上传公钥)、移除。
  3. 阶段 1 — 容器 + 环境:
    • docker ps -a / docker images;选运行中的容器作为目标;
    • 无容器时基于镜像生成 start-docker.sh(--privileged + davinci 设备直通 + 宿主驱动栈挂载 + host 网络)预览编辑后执行;
    • vLLM / vLLM-Ascend 版本与 editable 检查;安装支持 远程 git clone(ref 可配) 或 SFTP 上传本地工作树 两种来源,可走代理;
    • 外网检测(pypi/github,判定 OK/LOW/DOWN);不通时一键建立 SSH 反向隧道(远端 127.0.0.1:8888 → 本地 tinyproxy,实测 5-15MB/s)。
  4. 阶段 2 — vllm serve:可视化配置(tp/pp/dp、max-model-len、gpu-mem、dtype、环境变量、附加参数——常用调试项 chips 一键插入,JSON 配置见提示行);命令预览;启动(脚本入 <workdir>/agents/,日志按规范命名,WS 实时跟随);停止/重启;日志尾部与端口状态;冒烟测试(chat/completions,展示响应与耗时)。
  5. 阶段 3 — ais_bench:可用性检查(不可用则置灰 + 安装按钮,Python 3.10-3.12 → venv → clone/上传 → pip install -e);数据集列表(73 个)按 README 引导部署(远程 wget 走代理 / 本地下载+上传);任务配置由仓库模板生成、可编辑后保存运行;运行时 WS 实时日志 + POST/RECV/FINISH/FAIL 计数;结果解析 summary_*.csv 并可导出到本地 exports/。

项目结构

npu-console/
  backend/
    main.py               FastAPI 入口(静态托管前端,127.0.0.1:8878)
    config.py             常量(超时/阈值/端口/预置服务器)
    server_store.py       JSON 存储(服务器/自建容器/配置/任务历史,无任何密钥)
    command_builder.py    命令构造(shlex.quote;setsid+PGID 流式包装)
    ssh_manager.py        连接池/密钥引导/实时 exec/SFTP
    task_manager.py       任务状态机 + WS 推送 + TERM→KILL 取消
    proxy_manager.py      net-test + SSH 反向隧道生命周期
    routers/              health / servers / containers / env / vllm / aisbench / tasks(+ws)
    services/             npu / docker / vllm_env / vllm_serve / aisbench
    data/store.json       运行时数据(gitignore)
  frontend/               index.html / app.js / style.css / vendor/vue3
  scripts/start-docker.sh NPU 容器创建参考脚本
  selfcheck.py            自检(导入/注入防护/NPU 解析/存储/配置生成/API 面)
  exports/                导出的结果文件(gitignore)

API 概览(完整见 /docs)

GET  /api/health                          本地自检          POST /api/health/ssh-keygen
GET  /api/servers                         服务器列表        POST /api/servers(密码仅引导)
POST /api/servers/{id}/check              连通+NPU          POST /api/servers/check-all
GET  /api/servers/{id}/containers         docker ps -a      GET  .../containers/images
POST .../containers/start|stop|remove     创建(脚本)/停止/删除(owned only)
POST .../env/check | env/install          环境检查/安装(任务)
POST .../network/check[?viaProxy]         外网检测          POST .../network/proxy/start|stop
POST .../vllm/start|stop                  服务生命周期      GET .../vllm/status
POST .../vllm/smoke                       冒烟测试
POST .../aisbench/check|install           检查/安装(任务)
GET  .../aisbench/datasets                数据集列表        GET  .../aisbench/datasets/{n}/readme
POST .../aisbench/datasets/{n}/deploy     部署(任务)
POST .../aisbench/config/preview|save     生成/保存任务配置 POST .../aisbench/run
GET  .../aisbench/results                 结果              POST .../aisbench/export
GET  /api/tasks                           任务列表          POST /api/tasks/{id}/cancel
POST /api/tasks/_selftest                 任务系统自测(本地无副作用)
WS   /ws/tasks/{task_id}                  实时日志与状态(init 回放 + log/status/progress 事件)

运维注意

  • 后端进程重启后:任务历史可查(store),运行中的远程任务若失去跟随可通过任务抽屉重开日志(ais_bench/vllm 的 detached 进程不受影响)。
  • 反向隧道用完即停(界面或 API),不留长驻隧道。
  • 大文件操作前后注意 df -h(共享磁盘);他人容器/进程绝不触碰。

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages