ezflow是一个用 Python 编写的轻量级命令行工作流管理器,专为本地脚本任务编排设计。它通过 YAML 文件定义任务依赖、执行条件与资源需求,支持快速创建线性工作流,并可后台运行、暂停与终止任务流,适用于数据预处理、模型训练调度等场景。
- 简单直观:通过
ezflow <action>命令操作,支持创建、删除、检视与控制工作流。 - YAML 定义工作流:每个工作流为一个
List[Task]结构的 YAML 文件,清晰表达任务依赖与执行逻辑。 - 资源感知:支持按任务声明 GPU、系统内存(Memory)与显存(VRAM)需求,自动分配可用资源。
- 快速模式:使用 -q 参数,将命令行参数直接转为线性任务链,无需手动编写 YAML。
- 后台执行:通过 daemon 模式在后台运行工作流,支持运行、暂停、强制停止。
- 零外部服务依赖:纯 Python 实现,仅依赖 pyyaml、psutil 和可选的 py3nvml(用于显存监控)。
git clone https://github.com/Drosrin/ezflow.git
cd ezflow
pip install -e .推荐在虚拟环境中使用。
- 快速创建工作流
ezflow create -n myjob -q \
"echo 'Start'" \
"python download.py" \
"python preprocess.py" \
"python train.py"该命令生成 myjob.yaml,包含 4 个线性依赖任务。
- 手动创建工作流(YAML 示例)
# example.yaml
- name: prepare
Actions: mkdir -p output
- name: download
Parents: [prepare]
Work_Directory: .../output
conditions:
sh: ["which wget"]
Actions: wget -O output/data.csv https://example.com/data
- name: train
Parents: [download]
Requirements:
GPU: 1
Vram: 4000 # 总共需要 4GB 显存
Actions: python train.py --data output/data.csv使用:
ezflow create -n example -f example.yaml- 运行与控制
# 启动后台执行
ezflow control -n myjob --run
# 暂停(执行器将在当前任务完成后暂停)
ezflow control -n myjob --pause
# 强制停止(终止所有子进程)
ezflow control -n myjob --stop -F- 检视工作流
# 列出所有工作流
ezflow inspect -l
# 可视化依赖结构
ezflow inspect -n myjob -v
# 查看完整定义
ezflow inspect -n myjob每个任务为 YAML 列表中的一项,支持以下字段:
- name(必填):任务唯一标识。
- Actions(必填):要执行的 shell 命令。
- Work_Directory(可选):进入指定的目录中运行命令。不支持相对路径。
- Parents(可选):依赖的父任务名称列表。
- conditions(可选):
- file: 依赖的文件路径列表(必须全部存在)。
- sh: 依赖的 shell 命令列表(必须全部成功退出)。
- Requirements(可选):
- GPU: 需要的 GPU 数量。
- Memory: 需要的系统内存(MB)。
- Vram: 需要的总显存(MB)。
工作流与运行时数据默认存储在 $EZFLOW 目录中。若未设置 EZFLOW 环境变量,则使用 ~/.ezflow:
- 工作流定义:
$EZFLOW/workflows/<name>.yaml - 运行时状态:
$EZFLOW/runtimes/<name>/
- Python ≥ 3.8
- pyyaml
- psutil
- (可选)py3nvml(用于 VRAM 检查,Linux/Windows 支持)
# 运行单元测试
python -m unittest discover tests/ezflow 旨在提供最小可行的工作流抽象,适合个人脚本自动化、实验管理与轻量级任务调度。欢迎贡献与反馈!