CapSL

Aplikasi belajar Bahasa Isyarat Indonesia dengan koreksi gestur real-time di kamera

React
Vite
MediaPipe
Python
scikit-learn

Tangkapan layar aplikasi CapSL dengan latihan isyarat lewat kamera

akurasi model: 89,9%
huruf SIBI: 24
server, murni browser: 0

Latar Belakang

Belajar Bahasa Isyarat Indonesia (SIBI) dari gambar statis itu sulit: pembelajar tidak pernah tahu apakah gerakan tangannya sudah benar. Kebanyakan aplikasi hanya menyajikan kamus, tanpa umpan balik apa pun.

Bersama satu teman satu tim (yang menangani riset konten dan QA), saya mengambil tantangan ini sebagai proyek capstone: aplikasi web yang mengoreksi gerakan secara real-time, langsung dari kamera browser.

Yang Saya Kerjakan

Sebagai satu-satunya developer di tim, saya membangun seluruh sisi teknisnya dari nol, dengan setiap keputusan besar dicatat sebagai ADR.

Menyiapkan pipeline data: dataset fingerspelling, lalu ekstraksi 21 landmark tangan MediaPipe menjadi vektor fitur
Melatih model MLP dan mengekspornya ke JavaScript murni tanpa runtime TensorFlow, agar seluruh inferensi berjalan di browser pengguna
Membangun pengalaman belajar: latihan terpandu dengan progres, umpan balik korektif berbasis geometri tangan, kuis hafalan, dan gamifikasi XP & streak
Menjaga kualitas dengan 25 unit test dan lima ADR

Hasil

Model mencapai akurasi 89,9% pada data uji, melampaui target PRD sebesar 85%. Aplikasi menayangkan 24 huruf SIBI dan berjalan penuh di browser tanpa server, sudah dipublikasikan lewat Vercel.

Pelajaran

Batasan justru mempercepat. Huruf dinamis J dan Z sengaja dikecualikan, dan dukungan BISINDO ditunda, supaya versi pertama benar-benar selesai. Mengevaluasi trade-off dengan tenang lewat ADR ternyata lebih berharga daripada menambah fitur.

Coba Aplikasi

Proyek berikutnya

Luma