画像はnanobananaです。
Wikipediaや既存の文章から、今治弁のQ&A、継続事前学習用のCPT、評価用・GRPO用・Reasoning Effort別のデータセットを作成し、Hugging Faceへアップロードするためのツール集です。生成にはOpenAI互換API（OpenRouter / ローカルサーバー）を使用します。Wikipedia抽出と、再構成処理を無効にしたCPT生成は生成APIを使いません。
| やりたいこと | README | 対象プログラム |
|---|---|---|
| 原文の抽出、通常のCPT・Q&Aを生成する | メイン処理 | main_extract_wiki.py、main_create_cpt_dataset.py、main_create_imabari_qa.py |
| 生成済みデータをHugging Faceへ公開する | アップロード | main_upload_dataset.py、tool_upload_for_llmjp4.py、アップロード用Notebook 2本 |
| 対象モデルに問題を解かせ、別モデルで採点する | モデル評価 | main_evaluate_llm_jp.py |
| 評価・GRPO・Reasoning Effortのデータを作る、旧形式を移行する | 特殊なデータセット | main_create_eval_qa.py、main_judge_eval_qa.py、main_create_grpo_qa.py、main_create_reasoning_effort_dataset.py、migrate_*.py、tool_delete_generation_context.py |
各READMEに目的・入力と出力・設定・参考コマンドをまとめています。従来の生成設定・入出力形式・Reasoning Effortの詳細説明も用途別READMEに移しました。
Python 3.11以上と uv を使用します。リポジトリルートで依存関係を準備してください。
uv sync以降のコマンドもすべてリポジトリルートで実行します。YAML内の相対パスは作業ディレクトリ基準です。uv を使わない場合は、仮想環境に pyproject.toml の依存関係を導入して python で実行してください。
yamls/*_format.yamlが共有設定テンプレートです。用途別READMEの例に従ってコピーし、入力・出力先、モデル名、API接続先を編集します。既存のローカル設定がある場合はその内容を確認して使用してください。- 通常のQ&A・CPT・GRPOと既存の採点プログラムは、YAMLの
openrouterと接続設定を使います。モデル評価はtarget/judge、Reasoning Effortはgeneratorの接続設定と、各api_key_envが指す環境変数を使います。 - Hugging Face認証はアップロードツールごとに異なるため、アップロード用READMEを参照してください。
test_source/の入力、test_output/の生成結果、ローカル設定の多くはGit管理対象外です。コマンド例のデータは別途用意してください。
設定をコピーし、API接続先・モデル・output_path を編集してから実行します。cp -n は既存の設定を上書きしません。以下は入力JSONLの content からQ&Aを作る例です。
cp -n yamls/create_imabari_qa_settings_format.yaml yamls/create_imabari_qa_settings.yaml
uv run python main_create_imabari_qa.py \
-s ./test_source/wiki/raw.jsonl \
-p ./yamls/create_imabari_qa_settings.yaml \
-t content原文の準備から進める場合はメイン処理、生成済みQ&Aからthinkingのeffort違いを作る場合は特殊なデータセットへ進んでください。
| 場所 | 内容 |
|---|---|
main_*.py |
生成・評価・抽出・通常アップロードのCLI |
tool_*.py / tool_*.ipynb |
特定スキーマ向けアップロード・データ整形 |
migrate_*.py |
既存Reasoning Effortデータの形式移行 |
pipelines/ |
非同期生成・採点パイプラインの実装 |
reasoning_effort/ |
thinking生成・検証・モデル別整形・キャッシュ・進捗表示 |
commons/ |
共通の設定・入力・メッセージ等の処理 |
prompts/ / yamls/ |
プロンプトと設定テンプレート |
docs/ |
用途別README |
examples/ |
出力例・検証資料（旧形式の例も含む） |
test/ |
自動テスト |
test_source/ / test_output/ |
ローカル入力・生成結果 |
※このリポジトリはhttps://github.com/foxn2000/sdgにインスパイアされたレポジトリです。sdgレポジトリはさらに進化し、foxn2000 sdg_loomに進化しています。こちらも是非ともご覧ください。
Apache License 2.0。LICENSE を参照してください。