Pengenalan Bahasa Isyarat dengan Metode Segmentasi Warna Kulit dan Center of Gravity

https://doi.org/10.22146/ijeis.1964

Wawan Kurniawan(1*), agus Harjoko(2)

(1) 
(2) 
(*) Corresponding Author

Abstract


Abstrak

Bahasa isyarat (sign language) merupakan bahasa yang menggunakan gerakan tangan dan gerak bibir untuk menjelaskan sebuah arti. Untuk itu perlu adanya dibuat suatu sistem yang dapat menghubungkan penderita cacat tunarungu dengan manusia normal. Penelitian aplikasi pengenalan bahasa isyarat secara real-time banyak mengalami kendala, faktor-faktor yang mempengaruhi antara lain, besarnya tingkat kemiripan data citra latih, proses pelacakan (tracking) terutama pada segmentasi objek dengan latar belakang (background) sehingga hasil capture tidak terinterprestasikan maksimal.

Penelitian ini menggunakan metode pelacakan (tracking) yakni segmentasi warna kulit dan center of gravity (COG) berhasil melacak (tracking) gerakan tangan dari setiap frame, serta metode deteksi tepi dan PCA sebagai ekstraksi ciri, dan pengenalannya menggunakan pendekatan jaringan syaraf tiruan  back propagation.

Hasil dari pengujian sistem ini dapat mengenali 26 huruf isyarat, tingkat akurasi pengenalan isyarat tangan 83,43%. Pada berbagai kondisi pencahayan dan jarak objek ke kamera, system ini mengalami perubahan tingkat pengenalan sehingga diperlukan jarak ideal dan tingkat penerangan yang baik. Aplikasi ini perlu adanya pengembangan lebih lanjut terutama pada proses pelacakan dan identifikasi.

Kata kunci—Pelacakan, Ekstraksi ciri, Pengenalan isyarat tangan

 

Abstract

Sign language is a language that uses hand gestures and lip movements to explain the meaning. For that there needs to be created a system that can connect the disabled with normal human hearing impairment. The study of sign language recognition applications in real-time experience any problems, the factors that affect, among others, high level of similarity of training image data, the process of tracking, especially on the segmentation of objects with the background so the results do not capture the maximum interpretation.

This research uses the tracking method the skin color segmentation and center of gravity (COG) managed to track the hand movements of each frame, as well as edge detection method and the PCA as feature extraction, and familiarity with using artificial neural network approach to back propagation.

The results of testing this system can recognize 26 letters of recognition cues with recognition accuracy 83.43%. In a variety of lighting conditions and object distance to the camera, the system is experiencing changes in the level of recognition so that the required distance of an ideal and a good level of lighting. This application is the need for further development especially in the process of tracking and identification.

Keywords Tracking, Feature extraction, Hand gesture recognition


Full Text:

PDF



DOI: https://doi.org/10.22146/ijeis.1964

Article Metrics

Abstract views : 6606 | views : 5173

Refbacks

  • There are currently no refbacks.




Copyright (c) 2017 IJEIS - Indonesian Journal of Electronics and Instrumentation Systems

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.



Copyright of :
IJEIS (Indonesian Journal of Electronics and Instrumentations Systems)
ISSN 2088-3714 (print); ISSN 2460-7681 (online)
is a scientific journal the results of Electronics
and Instrumentations Systems
A publication of IndoCEISS.
Gedung S1 Ruang 416 FMIPA UGM, Sekip Utara, Yogyakarta 55281
Fax: +62274 555133
email:ijeis.mipa@ugm.ac.id | http://jurnal.ugm.ac.id/ijeis



View My Stats1
View My Stats2