ANOTASI OTOMATIS PADA CITRA PERSEPSI AUTONOMOUS CAR MENGGUNAKAN TRANSFER LABEL 3D-TO-2D

Abstract

Pemetaan semantik dan panoptik pada citra kendaraan otonom sangat bergantung pada ketersediaan anotasi manual yang memadai. Namun, proses pelabelan manual memerlukan waktu dan biaya tinggi, serta rentan terhadap inkonsistensi antar frame. Penelitian ini mengusulkan pendekatan otomatis berbasis Neural Radiance Fields(NeRF) untuk mentransfer label dari representasi 3D ke citra 2D. Dataset KITTI-360 digunakan dengan 768 citra yang dianotasi secara semi-otomatis menggunakan segmentor PSPNet dan Mask2Former. Model dilatih secara terpisah pada tiga sequence berbeda dan dievaluasi menggunakan metrik Intersection over Union (IoU), mean IoU (mIoU), dan Panoptic Quality (PQ). Hasil menunjukkan model mampu mencapai mIoU sebesar 0.79 (perspektif) dan 0.73 (fisheye), serta PQ sebesar 0.66 dan 0.60. Hasil kualitatif menunjukkan segmentasi yang konsisten pada kelas dominan seperti jalan, bangunan, dan langit, serta kemampuan membedakan instance objek dengan baik. Pendekatan ini terbukti mampu menghasilkan anotasi berkualitas tinggi tanpa ketergantungan pada pelabelan manual. Temuan ini penting untuk mempercepat pembangunan sistem persepsi visual kendaraan otonom dan memperluas cakupan data pelatihan secara efisien.