Bagaimana Deteksi Objek Bekerja?

Deteksi Bukan Klasifikasi

Mulailah dari apa yang dilakukan pengklasifikasi gambar. Anda memberikan sebuah foto, ia melihat seluruh gambar, dan ia mengembalikan satu jawaban: ini kucing, atau pantai, atau pelat nomor. Satu gambar masuk, satu label keluar. Bahkan ketika ia menampilkan lima kemungkinan teratas, kelima itu bersaing untuk mendeskripsikan seluruh foto. Pertanyaan yang diajukan ke pengklasifikasi adalah pertanyaan tentang gambar secara keseluruhan.

Detektor ditanya hal yang berbeda: untuk setiap objek di foto ini, apa itu dan di mana letaknya. Keluarannya bukan satu label melainkan daftar deteksi, dan tiap entri memasangkan sebuah kelas dengan sebuah lokasi, biasanya persegi panjang, plus sebuah skor. Itu sebabnya deteksi bisa mengembalikan nol entri untuk langit yang bersih, satu entri untuk seekor anjing tunggal, dan selusin entri untuk jalan yang ramai. Deteksi tidak hanya menamai objek; ia juga menunjuk ke arahnya.

Elemen lokasi tambahan itulah seluruh kesulitannya. Klasifikasi boleh membuang tata letak: mengubah ukuran gambar, mengabaikan tepi, hanya peduli pada isi keseluruhan. Deteksi tidak boleh. Sebuah detektor harus menjawab apa dan di mana sekaligus, dan harus melakukannya untuk jumlah objek yang tidak diketahui yang bisa saling bertumpuk, berada dalam skala apa pun, atau muncul di posisi apa pun. Semua hal lain dalam panduan ini, dua keluarga detektor, kotak yang berlebihan, ambang batas, dan mode kegagalannya, adalah konsekuensi dari menuntut lokasi di samping nama.

Satu hal yang perlu Anda pegang, karena ia menjelaskan banyak kejutan di kemudian hari: keluaran detektor melekat pada objek, bukan pada kategori. Pengklasifikasi selalu mengatakan sesuatu, karena pertanyaan tentang apa gambar ini selalu punya jawaban. Detektor bisa dengan jujur tidak mengatakan apa pun, karena pertanyaan di mana anjing berada mungkin tidak punya lokasi untuk dikembalikan. Deteksi gagal dengan diam. Klasifikasi gagal dengan salah.

• Keluaran pengklasifikasi: satu label untuk seluruh gambar.
• Keluaran detektor: daftar entri, tiap entri berisi kelas, kotak, dan skor.
• Keduanya berbagi ekstraksi fitur dan berbeda hampir sepenuhnya pada cara lokasi dihasilkan.

Keluarannya Adalah Kotak, dan Kotak Itu Menjadi Masalah

Ketika sebuah panduan menyebut kotak pembatas, maksudnya adalah persegi panjang paling kecil yang sejajar dengan sumbu dan digambar mengelilingi sebuah objek. Ada tepi atas, tepi kiri, lebar, tinggi, tanpa rotasi. Ini representasi lokasi paling murah yang tetap berguna, dan hampir semua detektor menghasilkan bentuk ini, termasuk alat peramban yang ditautkan di akhir panduan ini.

Secara konkret, satu deteksi adalah segenggam angka. Label adalah kelas yang menurut model ia temukan. Kotak disimpan sebagai empat angka, bisa berupa sudut kiri atas ditambah lebar dan tinggi, atau pusat ditambah lebar dan tinggi. Skor adalah satu angka, biasanya antara 0 dan 1. Itulah seluruh struktur datanya, dan setiap detektor ada untuk mengeluarkan angka-angka ini.

Bentuk kotak membawa asumsi tersembunyi: bahwa sebuah objek bisa dilingkupi rapat oleh persegi panjang yang tidak miring. Ketika asumsi itu patah, representasinya ikut patah. Kucing yang meringkar menjadi gumpalan bundar membuang sebagian besar kotaknya untuk latar; objek yang panjang, tipis, dan miring hampir seluruhnya ruang kosong. Karena detektor hanya memprediksi persegi panjang, ia tidak bisa memberi tahu di mana objek sebenarnya berakhir di dalamnya. Itu sebabnya di mana lebih sulit daripada apa: Anda terikat pada satu bentuk geometri untuk sebuah posisi sebelum Anda menemukan objeknya. Dan itulah alasan tepat bahwa detektor bukanlah segmenter.

Dua Keluarga Detektor

Setiap detektor harus memutuskan apa dan di mana sekaligus. Dua strategi mendominasi bidang ini, dan keduanya mempertukarkan kecepatan dengan akurasi ke arah yang berlawanan. Bedanya bukan soal kualitas, melainkan di mana pertanyaan lokasi itu dijawab.

Detektor dua tahap: temukan wilayah, lalu beri label

Detektor dua tahap membagi pekerjaannya. Tahap pertama mengusulkan tempat yang layak diperiksa: sebuah set wilayah kandidat yang mungkin menyimpan sesuatu. Tahap kedua mengambil tiap kandidat satu per satu, memutuskan apakah wilayah itu benar-benar memuat objek, kelas apa, lalu menggeser kotak agar lebih pas. Anggota terkenal dari keluarga ini, yaitu R-CNN dan keturunannya, Fast dan Faster R-CNN, serta Feature Pyramid Networks, terutama berbeda pada bagaimana usulan kandidat itu dibuat, dari metode usulan eksternal sampai jaringan usulan hasil pelatihan yang hidup di dalam backbone.

Karena tahap kedua memeriksa segenggam kandidat yang menjanjikan dengan perhatian penuh, detektor dua tahap cenderung akurat, dan secara historis lebih baik pada objek kecil atau yang sulit dibedakan. Harganya adalah waktu: melihat tiap kandidat dua kali itu lambat per gambar. Strateginya juga mudah diajarkan: buat dugaan tentang lokasi, lalu periksa tiap dugaan secara menyeluruh.

Detektor satu tahap: prediksi kotak dan kelas dalam satu lintasan

Detektor satu tahap tidak memisahkan lokasi dari klasifikasi. Ia memperlakukan deteksi sebagai prediksi padat: jalankan gambar melalui backbone sekali, lalu di setiap lokasi keluaran langsung prediksi sekumpulan kecil kotak dan sebuah distribusi atas kelas. Tidak ada langkah menunggu dan memeriksa wilayah itu lebih dekat; semuanya keluar dari satu lintasan maju.

Itu membuatnya jauh lebih cepat daripada detektor dua tahap, karenanya ia mendominasi pekerjaan waktu nyata, dan itulah makna YOLO, singkatan dari You Only Look Once, satu lintasan atas seluruh gambar. Idennya paling mudah dinyatakan: bagi peta fitur menjadi kisi sel, dan biarkan tiap sel mengusulkan kotak untuk objek yang pusatnya jatuh di dalamnya, dengan skor kelas untuk tiap kotak. Detektor yang dilatih begini menamai dan menempatkan setiap objek dalam satu lintasan, tanpa tahap usulan di mana pun. Karena ia tidak pernah diminta meninjau ulang lokasi, pendekatan satu tahap secara historis lebih lemah pada objek sangat kecil, ketika piksel per objek hampir tidak mengekodekan apa pun, sebuah celah yang ditutup varian modern dengan mencurahkan lebih banyak usaha ke sisi objek kecil dari pelatihan. Pertukarannya tetap ada: satu tahap untuk kecepatan dan kesederhanaan, dua tahap untuk lokalisasi cermat pada kasus sulit.

Pola ketiga, dalam bahasa sederhana

Detektor transformer yang muncul belakangan, termasuk model gaya DETR yang dijalankan alat peramban yang ditautkan, memecahkan bingkai dua tahap dan satu tahap dengan cara yang berguna. Alih-alih menghasilkan kotak padat di lokasi kisi lalu menyaringnya setelahnya, sekumpulan kecil query hasil pelatihan masing-masing memperhatikan seluruh gambar dan mengeluarkan satu kotak akhir secara langsung. Karena model dilatih untuk tidak memprediksi objek yang sama dua kali, gaya ini umumnya tidak butuh langkah terpisah untuk menyaring duplikat. Anda tetap memilih ambang batas dan hidup dengan set label tetap, tetapi usulan dan penghapusan duplikat datang dari satu sistem terlatih, bukan dijahit bersama di akhir.

Mengapa Satu Objek Mendapat Banyak Kotak, dan Bagaimana Kotak Dilebur

Jalankan detektor pada foto satu sepeda dan Anda bisa mendapat enam kotak yang semuanya duduk di atas sepeda itu, semuanya berlabel "bicycle", dengan tepi yang sedikit berbeda dan skor yang berbeda. Itu bukan kutu. Detektor tidak memutuskan satu kali di mana objek berada; ia mengusulkan banyak kotak kandidat di seluruh gambar dan memberi skor tiap-tiapnya, dan sebuah objek di bawah cukup banyak kandidat itu menarik kerumunan tumpang tindih. Tiap sel kisi yang memuatnya, tiap bentuk anchor yang kira-kira pas, tiap lokasi fitur yang bidang reseptifnya mencakupnya. Sistem ini sengaja menghasilkan jawaban berlebihan: ia dibangun untuk tuntas, dan melewatkan objek sepenuhnya lebih buruk daripada menamainya dua kali.

Supresi non-maksimum, atau NMS, adalah langkah pembersihannya. Diterapkan pada tumpukan kotak berlabel, ia bekerja begini: urutkan semua kotak menurut skor, ambil yang berskor tertinggi dan masukkan ke daftar akhir, lalu buang kotak lain yang tersisa dari kelas yang sama dan tumpang tindih terlalu banyak. Pengukurannya adalah intersection over union, yaitu pecahan luas kedua kotak yang mereka bagikan. Ulangi: kotak tersisa berikutnya yang tertinggi menjadi kotak simpanan baru, dan hampir-duplikatnya dipangkas, sampai tidak ada yang tersisa. Yang bertahan adalah satu kotak per objek, dan ia kandidat yang paling disukai model.

Ambang yang memutuskan kapan tumpang tindih terlalu banyak adalah kenop penalaan dengan konsekuensi yang terlihat. Setel ia agresif dan objek bersebelahan dari kelas yang sama melebur menjadi satu deteksi: dua mobil berdampingan kembali sebagai satu kotak lebar, karena yang kedua dipangkas sebagai duplikat dari yang pertama. Setel ia longgar dan tiap objek menyimpan beberapa kotak tumpang tindih. NMS adalah logika kecil dan salah satu sumber keluaran aneh yang paling umum ketika salah dikonfigurasi. Satu catatan, karena ini muncul pada alat yang ditautkan: NMS adalah aturan yang ditambahkan keluarga detektor klasik setelah prediksi; detektor gaya DETR umumnya digambarkan sebagai pengganti penyaringan setelah prediksi itu dengan penugasan hasil pelatihan yang menghindari mengeluarkan duplikat sama sekali.

Apa Itu Skor Keyakinan, dan Apa Bukan

Setiap deteksi membawa skor, biasanya ditulis sebagai angka antara 0 dan 1 dan ditampilkan kepada Anda sebagai persentase. Layak untuk terus terang tentang apa angka itu: nilai hasil pelatihan yang model dilatih untuk mengeluarkannya, tinggi ketika fiturnya tampak seperti anggota kelas ini dan rendah ketika tidak. Ini sinyal yang diproduksi jaringan, bukan pengukuran fisik, dan ia tidak dikalibrasi untuk berarti apa pun yang bisa Anda pakai di luar model yang mengeluarkannya.

Bagian yang orang salah pahami adalah bahwa skor itu bukan probabilitas. Kotak dengan skor 0.90 tidak berarti ada peluang 90% ini anjing. Skor yang berperilaku baik berkorelasi dengan kenyataan: angka tinggi biasanya bersama objek nyata, angka rendah bersama derau. Tetapi korelasi bukan kalibrasi. Angka 0.90 dari model yang sama berarti hal berbeda untuk "person" daripada untuk "toothbrush", karena tiap kelas punya rentang tampilan berbeda dan jumlah contoh pelatihan berbeda. Kegunaan sah sebuah skor adalah untuk membandingkan di dalam satu model pada satu lintasan: kotak ini lebih mungkin anjing nyata daripada kotak itu, label ini mengalahkan label itu untuk piksel ini.

Karena skor bersifat relatif, pertanyaan praktisnya adalah tempat memotong. Setiap detektor menampilkan sebuah ambang: simpan deteksi yang skornya sama atau di atas ambang itu, buang sisanya. Katakanlah sebuah kotak berskor 0.58; ia bertahan ketika ambang dipasang ke 0.50 dan menghilang ketika ambang dinaikkan ke 0.60. Tidak ada yang berubah pada gambar, dan tidak ada yang berubah pada penilaian model atas piksel itu; hanya aturan pelaporan yang bergeser. Jadi satu gambar yang sama sah menghasilkan daftar keluaran berbeda pada ambang berbeda, dan itu bukan model yang tidak konsisten. Itu Anda yang memutuskan seberapa banyak ketidakpastian yang Anda rela terima.

Ambang adalah titik deteksi bertemu biaya nyata. Sistem yang melewatkan satu kejadian sering lebih buruk daripada sistem yang menandai satu kejadian palsu, jadi Anda setel ambang rendah dan membereskan derau belakangan; jalur produksi yang berhenti karena cacat hantu memakan uang, jadi Anda setel ambang tinggi dan mengambil risiko satu kelewat yang jarang. Tidak ada angka yang benar di dalam model: keyakinan itu kenop, dan penggunaan yang jujur adalah memutuskan di depan sisi mana dari pertukaran itu yang lebih sedikit menyakiti Anda.

Set Label Itu Tetap, dan Ia Tidak Bisa Berkata Tidak Diketahui

Detektor hanya mengeluarkan kelas dari daftar yang diputuskan selama pelatihan. Contoh kanoniknya adalah COCO, sebuah benchmark yang set labelnya mencakup 80 kategori keseharian, yaitu orang, mobil, hewan, dan barang rumah tangga umum. Hampir semua detektor umum yang Anda temui, termasuk alat peramban di akhir panduan ini, membawa daftar itu apa adanya. Anda tidak bisa menanyakan model seperti ini tentang kategori yang ia tidak pernah dilatih untuk mengenalnya; tidak ada slot untuk menaruh jawabannya.

Yang terjadi ketika Anda menunjukkan sesuatu di luar daftar bukan penolakan yang sopan. Tidak ada keluaran tidak diketahui. Detektor hanya bisa melakukan dua hal: memberi salah satu label yang dikenalnya, atau tidak mengembalikan apa pun untuk wilayah itu. Jadi objek di luar set label diserap ke kategori dikenal yang tampak paling dekat: robot penyedot debu kembali sebagai "cat", troli belanja sebagai "chair", mainan tumpangan sebagai "car". Tidak ada yang rusak dan tidak ada yang memperingatkan Anda; detektor meraih label terdekat yang ia punya lalu memakainya dengan tenang. Itu mode kegagalan tanpa sinyal galat, sehingga ia berbahaya dengan cara yang tidak dimiliki kasus objek hilang.

Sisi sebaliknya sama menipukannya. Objek yang memang ada di daftar tetapi tampil aneh, misalnya sudut yang tidak biasa, warna yang jarang, atau bentuk yang kurang terwakili dalam set pelatihan, bisa berskor cukup rendah pada semua label dikenal sehingga ia hilang sepenuhnya. Diamnya detektor tidak berarti tidak ada apa pun di sini; ia berarti tidak ada yang cocok dengan label mana pun yang ia kenal cukup baik untuk dilaporkan. 80 kategori itu adalah kosakata tetap, dan apa pun di luar mereka diparafrase menjadi sesuatu yang dekat atau dibiarkan tidak terucapkan.

Satu konsekuensi untuk diuraikan, karena ia terus-menerus muncul: label adalah kategori, bukan identitas. Detektor yang mengotaki sesosok tubuh dan menulis "person" tidak mengenali siapa pun; ia hanya menyatakan bahwa piksel itu tampak seperti kelas "person". Apakah orang itu seseorang yang Anda kenal adalah model terpisah yang dibangun di atasnya, dan satu yang konsekuensinya jauh lebih berat ketika ia salah.

Tempat Deteksi Kesulitan

Begitu Anda tahu bagaimana detektor membentuk jawabannya, kelemahannya tidak lagi misterius. Tiap butir berikut merusak satu asumsi spesifik yang dipanggang ke dalam mekanismenya, dan karena itu tiap butir gagal dengan caranya sendiri.

Okluksi dan sudut pandang yang tidak biasa

Detektor belajar rupa sebuah objek ketika sebagian besar tubuhnya terlihat dan dalam pose tipikal. Ketika bagian yang terlihat menyusut, misalnya mobil yang setengah tersembunyi di balik tiang, wajah yang menoleh, atau orang yang hanya terlihat dari bahu ke atas, bukti dalam gambar tidak lagi mirip contoh pelatihan. Sudut yang tidak biasa adalah masalah yang sama: cangkir yang dilihat tepat dari atas punya bibir oval tanpa gagang, laptop yang dilihat dari samping adalah baji tipis. Model melihat hampir seluruhnya objek dari depan dan dibingkai baik, sehingga ia rapuh begitu Anda mengubah relasi kamera dengan benda yang dilihatnya.

Objek sangat kecil dan kerumunan padat

Objek kecil membawa batasan yang kejam: burung jauh atau wajah di seberang jalan menempati segenggam piksel, dan setelah gambar melewati piramida fitur jaringan nyata, tinggal sangat sedikit dari itu yang bertahan. Detektor rutin melewatkan hal-hal yang persis terlihat oleh Anda, terutama ketika masukan diturunkan resolusinya; itulah alasan tepat alat yang ditautkan memperingatkan bahwa objek kecil hilang. Kerumunan adalah kegagalan sebaliknya dengan akar yang sama: ketika banyak objek sekelas duduk berdekatan, kotak kandidat mereka sangat tumpang tindih dan NMS memangkas yang bertahan sebagai duplikat satu sama lain, meruntuhkan selusin pejalan kaki menjadi dua kotak. Perbaiki yang pertama hanya dengan resolusi masukan lebih tinggi; perbaiki yang kedua dengan mengendurkan ambang tumpang tindih dan menerima lebih banyak positif palsu.

Pantulan dan ketidakcocokan resolusi

Pantulan bisa menghasilkan "car" yang nyata dan terbentuk rapi dalam piksel tanpa objek fisik di belakangnya. Detektor menemukan penampilannya lalu melaporkannya, karena tugasnya memang mencari penampilan. Kaca cermin, permukaan mengilap, dan poster seekor anjing semuanya memicu hal ini. Kasus yang lebih halus adalah ketidakcocokan resolusi: setiap detektor dilatih pada rentang ukuran masukan tertentu, dan memberinya gambar yang jauh dari rentang itu, misalnya foto besar yang dikecilkan drastis atau gambar kecil yang diperbesar, akan mengubah jejak piksel tiap objek. Model yang belajar bahwa anjing kira-kira selebar sekian piksel akan berhenti melihat anjing pada satu per sepuluh lebar itu. Inilah mekanisme yang sama yang membuat penurunan resolusi berisiko, dan inilah alasan detektor sering butuh langkah prapemrosesan yang cocok agar bisa berperilaku.

Tempat Deteksi Benar-Benar Dipakai

Deteksi mendapat tempatnya ketika pertanyaannya adalah ada benda itu di sana dan di mana, bukan apa gambar ini. Kategori di bawah dinyatakan secara umum: mereka menggambarkan kegunaan mekanisme, bukan pemasaran satu produk tertentu.

Ritel dan inventaris: menghitung stok di rak, memajang display sesuai rencana, menandai celah di tempat yang seharusnya berisi, menemukan barang yang salah tempat. Kamera mengarah ke rak dan sebuah model menemukan tiap produk, sehingga Anda bisa menghitung dan menempatkan mereka, bukan sekadar mengklasifikasikan rak sebagai sebagian besar penuh.

Kemasan dan inspeksi kualitas: tutup botol yang hilang, benda di konveyor yang salah, komponen yang ditempatkan terbalik. Pertanyaan lolos atau gagal itu berbicara tentang item spesifik di posisi spesifik, dan pengklasifikasi yang dipaksa mendeskripsikan seluruh gambar tidak bisa menjawabnya.

Lalu lintas dan penghitungan: mendeteksi kendaraan, mengukur aliran dari kamera tetap, menghitung pejalan kaki, menemukan antrean di persimpangan. Deteksi memberi posisi per objek; sebuah langkah pelacakan terpisah biasanya ditambahkan ketika Anda perlu mengikuti objek yang sama melintasi beberapa bingkai, bukan sekadar sekali hitung.

Robotika dan alat bantu: lengan robot butuh posisi objek sebelum bisa menggenggam, dan alat bantu navigasi bagi orang tunanetra butuh mengatakan ada pintu di depan. Pada keduanya, nilainya ada di kotak, bukan di label. Tiap aplikasi ini punya satu persyaratan keras yang sama: set label harus benar-benar memuat apa yang Anda pedulikan, karena alasan di bagian sebelumnya.

Demo Deteksi yang Bisa Anda Jalankan di Peramban Anda

Halaman yang ditautkan dari panduan ini menjalankan mekanismenya secara lokal. Anda memberinya satu gambar, PNG, JPG, atau WebP, dan ia mengunduh bobot model saat pemakaian pertama lalu memakainya kembali dari cache peramban Anda sesudahnya. Tidak ada bagian dari foto Anda yang diunggah; piksel dibaca, diubah ukurannya, dan dilewatkan melalui detektor di dalam tab, dan gambar beranotasi digambar di atas kanvas di halaman itu.

Di bagian dalam, ia menjalankan detektor transformer gaya DETR atas 80 kategori keseharian COCO, memakai salinan bobot terkuantisasi yang cukup kecil untuk dikirim ke peramban. Ia mengembalikan satu deteksi untuk setiap objek yang ia temukan: kotak pembatas yang digambar di atas gambar dan skor keyakinan di tabel Objek terdeteksi, dan Anda bisa mengunduh gambar beranotasi itu. Ia menyaring apa yang ditampilkan dengan jenis ambang skor yang sama seperti sudah dijelaskan tadi, sehingga menaikkannya menjatuhkan kotak skor rendah dan menurunkannya mengembalikan mereka.

Layak untuk menyebut batasnya secara eksplisit, karena frasa deteksi objek di peramban Anda mengundang harapan yang salah. Ia melayani satu gambar dalam satu waktu. Ia menurunkan resolusi gambar Anda sebelum inferensi, dan itu tepat ketidakcocokan resolusi yang dibahas di atas, sekaligus alasan objek kecil bisa saja tidak muncul. Set labelnya tetap pada 80 kategori COCO itu, sehingga ia tidak bisa menamai apa pun di luar mereka. Ia tidak mengidentifikasi orang: kotak berlabel "person" adalah kategori, bukan pengenalan terhadap seseorang. Tidak ada segmentasi, tidak ada masker, dan tidak ada pelacakan video, dan tidak ada fitur penghitungan selain jumlah baris di tabel Objek terdeteksi. Perlakukan ia sesuai adanya, yaitu sebagai demonstrasi yang berjalan dari kotak, skor, ambang, dan mekanisme satu lintasan, di atas salinan model Anda sendiri; ia bukan detektor produksi, dan ia tidak akan mengukur akurasinya sendiri.

Pertanyaan yang sering diajukan