EduReflect adalah platform berbasis AI (Computer Vision) yang dirancang untuk menganalisis metrik emosi (afeksi) siswa secara dinamis selama pembelajaran berlangsung melalui rekaman video kelas. Sistem ini mendeteksi wajah siswa secara dinamis dan mengklasifikasikan ekspresi mereka, kemudian memberikan metrik visual serta rekomendasi pedagogis berbasis Pekrun's Control-Value Theory of Achievement Emotions.
Aplikasi ini telah dideploy dan dapat langsung digunakan secara gratis tanpa perlu setup di lokal: 👉 Hugging Face Space - EduReflect
Sesuai dengan alur sistem pada antarmuka aplikasi:
- Deteksi & Pelacakan Wajah: Guru mengunggah video pengajaran yang menampilkan wajah murid untuk dideteksi emosinya secara otomatis dan dinamis.
- Ringkasan Hasil Analisis: Menampilkan jumlah total wajah/siswa terdeteksi serta frekuensi kumulatif deteksi emosi sepanjang video.
- Cuplikan Rekaman Analisis (Key Frames): Menampilkan cuplikan gambar hasil analisis dengan bounding box pada masing-masing wajah disertai keterangan
"ID: [nomor_id] [label_emosi]"serta timestamp (detik ke berapa) emosi tersebut terdeteksi. - Grafik Analisis (Mood Breakdown): Visualisasi interaktif grafik batang persentase sebaran dari 7 kategori emosi terdeteksi (Happy, Neutral, Surprise, Sad, Anger, Fear, Disgust).
- Tren Emosi Berdasarkan Waktu: Grafik garis dinamis yang memetakan tren fluktuasi emosi kelas per interval detik.
- Rekomendasi Pengajaran: Memberikan saran pedagogi otomatis yang dirancang berdasarkan Pekrun's Control-Value Theory of Achievement Emotions (2006) sesuai dengan emosi dominan kelas yang terdeteksi.
Model pembelajaran mesin yang digunakan dalam proyek ini dapat diunduh di direktori Google Drive berikut:
Letakkan file dan folder model yang diunduh di dalam folder src/ dengan struktur sebagai berikut:
PROJECT/
├── requirements.txt
└── src/
├── streamlit_app.py
├── yolov11n-face.onnx <-- File Model Deteksi Wajah (ONNX)
└── best_int8_openvino_model/ <-- Folder Model Klasifikasi Emosi (OpenVINO INT8)
├── openvino_model.xml
└── openvino_model.bin
Di dalam streamlit_app.py, model dimuat dengan fungsi ter-caching berikut:
@st.cache_resource
def load_models():
# Pastikan file model ada di dalam folder 'src' di repository Anda
face = YOLO('src/yolov11n-face.onnx', task='detect')
emotion = YOLO('src/best_int8_openvino_model', task='detect')
return face, emotionTip
Optimasi GPU (Opsional):
Konfigurasi bawaan aplikasi menggunakan model ONNX (yolov11n-face.onnx) dan OpenVINO (best_int8_openvino_model) yang dirancang ramah CPU (CPU-friendly inference).
Jika Anda memiliki perangkat keras GPU (seperti NVIDIA CUDA), Anda disarankan untuk menggunakan berkas PyTorch asli (yolov11n-face.pt dan best.pt) yang tersedia di Google Drive, lalu sesuaikan kode pemuatan model di streamlit_app.py menjadi:
face = YOLO('src/yolov11n-face.pt', task='detect')
emotion = YOLO('src/best.pt', task='detect') (Catatan: Pastikan Anda juga memasang pustaka PyTorch dengan dukungan CUDA untuk mengaktifkan pemrosesan kartu grafis).
Ikuti langkah-langkah di bawah ini untuk menyiapkan lingkungan kerja (environment setup) lokal Anda:
Dapatkan salinan kode sumber proyek dari Hugging Face Space:
git clone https://huggingface.co/spaces/PJK-GU108/EduReflect
cd EduReflect- Windows (PowerShell):
python -m venv venv .\venv\Scripts\activate - macOS/Linux:
python3 -m venv venv source venv/bin/activate
Instal seluruh paket Python yang diperlukan dengan menjalankan:
pip install -r requirements.txtSetelah setup environment selesai dan model telah diposisikan di folder src/, Anda dapat menjalankan server Streamlit lokal dengan perintah berikut:
streamlit run src/streamlit_app.pySetelah server berjalan, buka peramban (browser) Anda pada tautan berikut:
👉 http://localhost:8501
(Catatan: Anda juga dapat menggunakan Docker untuk menjalankan aplikasi ini menggunakan instruksi di berkas Dockerfile yang tersedia).
Untuk melihat alur dan langkah-langkah pelatihan model klasifikasi emosi khusus yang digunakan pada proyek ini, Anda dapat merujuk ke notebook Jupyter berikut:
- 📄 RAF_DB_&_FER2013PLUS.ipynb: Notebook ini berisi tahapan penggabungan (fusion) dataset RAF-DB & FER2013Plus, pra-pemrosesan data wajah, arsitektur pelatihan, hingga evaluasi akhir model deteksi emosi.
Proyek ini menggunakan model yolov11n-face untuk pelacakan dan deteksi wajah manusia.
- Original Author: deepghs
- Original Model: yolov11n-face di Hugging Face
- License: Model Redistribution Disclaimer License (RDL)
All intellectual property rights and related rights to the Work remain exclusively with the original copyright holder(s). THE WORK IS PROVIDED "AS IS", WITHOUT WARRANTIES OF ANY KIND. The Maintainer explicitly disclaims liability for accuracy, completeness, or fitness for any purpose. All rights remain with the original copyright holder.
Model klasifikasi emosi khusus yang digunakan dilatih menggunakan penggabungan (fusion) dataset berikut:
1. RAF-DB Dataset
- Dataset: Real-world Affective Faces Database (RAF-DB)
- Author: shuvoalok (Kaggle Upload) / PRIS, Beijing University of Posts and Telecommunications
- Source: RAF-DB Kaggle
- License/Terms: Tersedia hanya untuk keperluan penelitian non-komersial. Seluruh gambar diperoleh dari internet dan bukan milik PRIS. Pengguna dilarang memproduksi ulang, menggandakan, menyalin, menjual, memperdagangkan, menjual kembali, atau memanfaatkan bagian mana pun dari gambar maupun data turunan untuk keperluan komersial.
2. FER2013Plus
- Dataset: Fer2013Plus (Crowd-Sourced Label Distribution by Microsoft)
- Author: subhaditya (Kaggle Porting Code) / Original Microsoft Team (Emad Barsoum, Cha Zhang, Cristian Canton Ferrer, Zhengyou Zhang)
- Source: FER2013Plus Kaggle
- Original Repository: FERPlus di GitHub
- Citation:
Barsoum, E., Zhang, C., Canton Ferrer, C., & Zhang, Z. (2016). Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution. ACM International Conference on Multimodal Interaction (ICMI).
EduReflect dikembangkan sebagai proyek capstone edukasional.