Skip to content
DrosrinPublic

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

4 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ezflow – 极轻量级 CLI 工作流管理工具

ezflow是一个用 Python 编写的轻量级命令行工作流管理器,专为本地脚本任务编排设计。它通过 YAML 文件定义任务依赖、执行条件与资源需求,支持快速创建线性工作流,并可后台运行、暂停与终止任务流,适用于数据预处理、模型训练调度等场景。


核心特性

  • 简单直观:通过 ezflow <action> 命令操作,支持创建、删除、检视与控制工作流。
  • YAML 定义工作流:每个工作流为一个 List[Task] 结构的 YAML 文件,清晰表达任务依赖与执行逻辑。
  • 资源感知:支持按任务声明 GPU、系统内存(Memory)与显存(VRAM)需求,自动分配可用资源。
  • 快速模式:使用 -q 参数,将命令行参数直接转为线性任务链,无需手动编写 YAML。
  • 后台执行:通过 daemon 模式在后台运行工作流,支持运行、暂停、强制停止。
  • 零外部服务依赖:纯 Python 实现,仅依赖 pyyaml、psutil 和可选的 py3nvml(用于显存监控)。

安装

git clone https://github.com/Drosrin/ezflow.git
cd ezflow
pip install -e .
推荐在虚拟环境中使用。

使用示例

  1. 快速创建工作流
ezflow create -n myjob -q \
  "echo 'Start'" \
  "python download.py" \
  "python preprocess.py" \
  "python train.py"

该命令生成 myjob.yaml,包含 4 个线性依赖任务。

  1. 手动创建工作流(YAML 示例)
# example.yaml
- name: prepare
  Actions: mkdir -p output
- name: download
  Parents: [prepare]
  Work_Directory: .../output
  conditions:
    sh: ["which wget"]
  Actions: wget -O output/data.csv https://example.com/data
- name: train
  Parents: [download]
  Requirements:
    GPU: 1
    Vram: 4000   # 总共需要 4GB 显存
  Actions: python train.py --data output/data.csv

使用:

ezflow create -n example -f example.yaml
  1. 运行与控制
# 启动后台执行
ezflow control -n myjob --run

# 暂停(执行器将在当前任务完成后暂停)
ezflow control -n myjob --pause

# 强制停止(终止所有子进程)
ezflow control -n myjob --stop -F
  1. 检视工作流
# 列出所有工作流
ezflow inspect -l

# 可视化依赖结构
ezflow inspect -n myjob -v

# 查看完整定义
ezflow inspect -n myjob

工作流任务定义(Task)

每个任务为 YAML 列表中的一项,支持以下字段:

  • name(必填):任务唯一标识。
  • Actions(必填):要执行的 shell 命令。
  • Work_Directory(可选):进入指定的目录中运行命令。不支持相对路径。
  • Parents(可选):依赖的父任务名称列表。
  • conditions(可选):
    • file: 依赖的文件路径列表(必须全部存在)。
    • sh: 依赖的 shell 命令列表(必须全部成功退出)。
  • Requirements(可选):
    • GPU: 需要的 GPU 数量。
    • Memory: 需要的系统内存(MB)。
    • Vram: 需要的总显存(MB)。

存储位置

工作流与运行时数据默认存储在 $EZFLOW 目录中。若未设置 EZFLOW 环境变量,则使用 ~/.ezflow:

  • 工作流定义:$EZFLOW/workflows/<name>.yaml
  • 运行时状态:$EZFLOW/runtimes/<name>/

依赖

  • Python ≥ 3.8
  • pyyaml
  • psutil
  • (可选)py3nvml(用于 VRAM 检查,Linux/Windows 支持)

开发与测试

# 运行单元测试
python -m unittest discover tests/

ezflow 旨在提供最小可行的工作流抽象,适合个人脚本自动化、实验管理与轻量级任务调度。欢迎贡献与反馈!

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages