EVALUASI INTEGRASI YOLOV11N SEBAGAI PRAPROSES DETEKSI WAJAH UNTUK KLASIFIKASI DEEPFAKE BERBASIS MOBILEVIT

Abstract

Perkembangan teknologi deepfake menyebabkan media manipulatif semakin sulit dibedakan dari media asli, terutama karena manipulasi umumnya terjadi pada area wajah. Oleh karena itu, tahap praproses yang mampu mengarahkan model pada area wajah perlu dievaluasi untuk mengetahui pengaruhnya terhadap performa klasifikasi. Penelitian ini bertujuan untuk mengevaluasi integrasi YOLOv11n sebagai detektor wajah pada tahap praproses untuk mendukung klasifikasi deepfake berbasis MobileViT. Metode yang digunakan meliputi pelatihan YOLOv11n menggunakan dataset deteksi wajah/kepala beranotasi bounding box, penerapan YOLOv11n untuk mendeteksi dan memotong area wajah, serta klasifikasi citra asli dan citra deepfake menggunakan MobileViT. Hasil pelatihan YOLOv11n menunjukkan performa terbaik pada epoch ke-40 dengan presisi 93,36%, recall 90,72%, mAP@50 96,41%, dan mAP@50:95 58,80%. Kurva classification loss YOLOv11n juga menunjukkan tren penurunan pada data latih dan validasi hingga akhir pelatihan, sehingga mengindikasikan proses pembelajaran detektor berjalan stabil. Pada tahap klasifikasi, MobileViT tanpa YOLOv11n memperoleh akurasi 81,73%, presisi 79,10%, recall 86,27%, dan F1-score 82,53%. Sementara itu, MobileViT dengan praproses YOLOv11n memperoleh akurasi 95,53%, presisi 95,96%, recall 95,07%, dan F1-score 95,51%. Integrasi YOLOv11n meningkatkan akurasi sebesar 13,80 poin persentase dan F1-score sebesar 12,98 poin persentase. Hasil ini menunjukkan bahwa pemfokusan area wajah melalui YOLOv11n efektif dalam meningkatkan performa klasifikasi deepfake berbasis MobileViT.