Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

11 Commits

Folders and files

Repository files navigation

🏫 EduReflect: Analisis Emosi Kelas 🎓

EduReflect adalah platform berbasis AI (Computer Vision) yang dirancang untuk menganalisis metrik emosi (afeksi) siswa secara dinamis selama pembelajaran berlangsung melalui rekaman video kelas. Sistem ini mendeteksi wajah siswa secara dinamis dan mengklasifikasikan ekspresi mereka, kemudian memberikan metrik visual serta rekomendasi pedagogis berbasis Pekrun's Control-Value Theory of Achievement Emotions.

Aplikasi ini telah dideploy dan dapat langsung digunakan secara gratis tanpa perlu setup di lokal: 👉 Hugging Face Space - EduReflect


🎨 Wujud & Fitur Utama Aplikasi

Sesuai dengan alur sistem pada antarmuka aplikasi:

  1. Deteksi & Pelacakan Wajah: Guru mengunggah video pengajaran yang menampilkan wajah murid untuk dideteksi emosinya secara otomatis dan dinamis.
  2. Ringkasan Hasil Analisis: Menampilkan jumlah total wajah/siswa terdeteksi serta frekuensi kumulatif deteksi emosi sepanjang video.
  3. Cuplikan Rekaman Analisis (Key Frames): Menampilkan cuplikan gambar hasil analisis dengan bounding box pada masing-masing wajah disertai keterangan "ID: [nomor_id] [label_emosi]" serta timestamp (detik ke berapa) emosi tersebut terdeteksi.
  4. Grafik Analisis (Mood Breakdown): Visualisasi interaktif grafik batang persentase sebaran dari 7 kategori emosi terdeteksi (Happy, Neutral, Surprise, Sad, Anger, Fear, Disgust).
  5. Tren Emosi Berdasarkan Waktu: Grafik garis dinamis yang memetakan tren fluktuasi emosi kelas per interval detik.
  6. Rekomendasi Pengajaran: Memberikan saran pedagogi otomatis yang dirancang berdasarkan Pekrun's Control-Value Theory of Achievement Emotions (2006) sesuai dengan emosi dominan kelas yang terdeteksi.

🔗 Tautan Model

Model pembelajaran mesin yang digunakan dalam proyek ini dapat diunduh di direktori Google Drive berikut:

Struktur Penyimpanan Model:

Letakkan file dan folder model yang diunduh di dalam folder src/ dengan struktur sebagai berikut:

PROJECT/
├── requirements.txt
└── src/
    ├── streamlit_app.py
    ├── yolov11n-face.onnx            <-- File Model Deteksi Wajah (ONNX)
    └── best_int8_openvino_model/     <-- Folder Model Klasifikasi Emosi (OpenVINO INT8)
        ├── openvino_model.xml
        └── openvino_model.bin

Cara Memuat (Load) Model di Kode:

Di dalam streamlit_app.py, model dimuat dengan fungsi ter-caching berikut:

@st.cache_resource
def load_models():
    # Pastikan file model ada di dalam folder 'src' di repository Anda
    face = YOLO('src/yolov11n-face.onnx', task='detect') 
    emotion = YOLO('src/best_int8_openvino_model', task='detect') 
    return face, emotion

Tip

Optimasi GPU (Opsional): Konfigurasi bawaan aplikasi menggunakan model ONNX (yolov11n-face.onnx) dan OpenVINO (best_int8_openvino_model) yang dirancang ramah CPU (CPU-friendly inference). Jika Anda memiliki perangkat keras GPU (seperti NVIDIA CUDA), Anda disarankan untuk menggunakan berkas PyTorch asli (yolov11n-face.pt dan best.pt) yang tersedia di Google Drive, lalu sesuaikan kode pemuatan model di streamlit_app.py menjadi:

face = YOLO('src/yolov11n-face.pt', task='detect') 
emotion = YOLO('src/best.pt', task='detect') 

(Catatan: Pastikan Anda juga memasang pustaka PyTorch dengan dukungan CUDA untuk mengaktifkan pemrosesan kartu grafis).


🛠️ Petunjuk Setup Environment

Ikuti langkah-langkah di bawah ini untuk menyiapkan lingkungan kerja (environment setup) lokal Anda:

1. Clone Repositori

Dapatkan salinan kode sumber proyek dari Hugging Face Space:

git clone https://huggingface.co/spaces/PJK-GU108/EduReflect
cd EduReflect

2. Buat & Aktifkan Virtual Environment (Direkomendasikan)

  • Windows (PowerShell):
    python -m venv venv
    .\venv\Scripts\activate
  • macOS/Linux:
    python3 -m venv venv
    source venv/bin/activate

3. Instal Dependensi

Instal seluruh paket Python yang diperlukan dengan menjalankan:

pip install -r requirements.txt

🚀 Cara Menjalankan Aplikasi

Setelah setup environment selesai dan model telah diposisikan di folder src/, Anda dapat menjalankan server Streamlit lokal dengan perintah berikut:

streamlit run src/streamlit_app.py

Setelah server berjalan, buka peramban (browser) Anda pada tautan berikut: 👉 http://localhost:8501

(Catatan: Anda juga dapat menggunakan Docker untuk menjalankan aplikasi ini menggunakan instruksi di berkas Dockerfile yang tersedia).


🧪 Pelatihan Model (Model Training)

Untuk melihat alur dan langkah-langkah pelatihan model klasifikasi emosi khusus yang digunakan pada proyek ini, Anda dapat merujuk ke notebook Jupyter berikut:

  • 📄 RAF_DB_&_FER2013PLUS.ipynb: Notebook ini berisi tahapan penggabungan (fusion) dataset RAF-DB & FER2013Plus, pra-pemrosesan data wajah, arsitektur pelatihan, hingga evaluasi akhir model deteksi emosi.

⚖️ Attribution & Acknowledgements

🤖 Model Attribution

Proyek ini menggunakan model yolov11n-face untuk pelacakan dan deteksi wajah manusia.

All intellectual property rights and related rights to the Work remain exclusively with the original copyright holder(s). THE WORK IS PROVIDED "AS IS", WITHOUT WARRANTIES OF ANY KIND. The Maintainer explicitly disclaims liability for accuracy, completeness, or fitness for any purpose. All rights remain with the original copyright holder.

📊 Dataset Attribution

Model klasifikasi emosi khusus yang digunakan dilatih menggunakan penggabungan (fusion) dataset berikut:

1. RAF-DB Dataset

  • Dataset: Real-world Affective Faces Database (RAF-DB)
  • Author: shuvoalok (Kaggle Upload) / PRIS, Beijing University of Posts and Telecommunications
  • Source: RAF-DB Kaggle
  • License/Terms: Tersedia hanya untuk keperluan penelitian non-komersial. Seluruh gambar diperoleh dari internet dan bukan milik PRIS. Pengguna dilarang memproduksi ulang, menggandakan, menyalin, menjual, memperdagangkan, menjual kembali, atau memanfaatkan bagian mana pun dari gambar maupun data turunan untuk keperluan komersial.

2. FER2013Plus

  • Dataset: Fer2013Plus (Crowd-Sourced Label Distribution by Microsoft)
  • Author: subhaditya (Kaggle Porting Code) / Original Microsoft Team (Emad Barsoum, Cha Zhang, Cristian Canton Ferrer, Zhengyou Zhang)
  • Source: FER2013Plus Kaggle
  • Original Repository: FERPlus di GitHub
  • Citation:

    Barsoum, E., Zhang, C., Canton Ferrer, C., & Zhang, Z. (2016). Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution. ACM International Conference on Multimodal Interaction (ICMI).


EduReflect dikembangkan sebagai proyek capstone edukasional.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages