Bagaimana Pengenalan Gambar Bekerja?

Jawaban singkatnya

Pengenali gambar modern adalah tumpukan lapisan penghitung angka yang mengubah satu foto menjadi daftar nama yang terurut. Anda memberinya piksel. Lapisan awal menangkap hal sederhana seperti tepi dan transisi warna, lapisan tengah merakitnya menjadi tekstur dan bagian, lalu lapisan yang lebih dalam menggabungkan bagian-bagian itu menjadi bukti untuk objek utuh. Lapisan terakhir mengeluarkan skor untuk setiap kategori yang dikenal model, dan label dengan skor tertinggi adalah jawaban yang Anda lihat.

Dua sifat mesin ini menjelaskan hampir semua hal aneh darinya. Pertama, tidak ada yang menulis aturan yang memberi tahu apa itu anjing. Ia menyesuaikan angka internal sampai tebakannya cocok dengan label yang dipasang manusia pada jutaan foto contoh, jadi ia pencocok pola atas data, bukan program dengan definisi. Kedua, kosakatanya dibekukan pada hari pelatihan selesai. Ia tidak bisa menamai benda yang tidak ada di daftarnya, dan ia tidak punya keluaran untuk “tidak ada di daftar saya”, jadi ia menyerahkan nama terdekat yang tersedia.

• Klasifikasi menjawab satu pertanyaan: dari kategori yang saya tahu, mana yang paling cocok dengan gambar ini?
• Deteksi menjawab pertanyaan lain: di mana tiap benda dalam foto, sebagai sebuah kotak.
• Segmentasi menjawab pertanyaan ketiga: piksel mana yang termasuk benda yang mana.
• Skor keyakinan mengurutkan daftar label yang tetap. Ini bukan persentase peluang benar.
• Model kecil berjalan di ponsel dan di tab peramban, jadi sebuah foto tidak pernah harus keluar dari perangkat.

Dari piksel ke bagian lalu ke objek

Mulailah dari apa yang diterima model. Bagi komputer, gambar adalah grid angka, satu bacaan kecerahan per piksel per kanal warna. Alat di akhir halaman ini bekerja pada grid persegi 224 × 224, yaitu 50,176 piksel, dan dengan tiga kanal warna menjadi 150,528 angka masukan. Apa pun yang Anda foto diubah dulu ke bentuk itu, satu langkah yang merusak detail, jarang disadari orang, dan mengubah hasil.

Model lalu menerapkan lapisan demi lapisan filter kecil. Setiap filter adalah jendela kecil berisi angka yang meluncur melintasi gambar dan melaporkan seberapa kuat sebuah pola lokal hadir. Sendiri-sendiri mereka sangat sederhana; kedalaman yang membuat mereka berguna. Lapisan satu menemukan tepi, sudut, dan batas warna. Lapisan dua melihat tepi yang tersusun menjadi kurva dan tekstur berulang. Lapisan yang lebih dalam melihat mata, roda, kusen pintu, cara bulu bertemu kalung. Sampai lapisan-lapisan terakhir, aktivasi sesuai dengan bukti objek utuh, dibangun dari kombinasi apa yang ditangkap lapisan sebelumnya.

Tahap akhir memangkas semua itu ke daftar label. Setiap kategori yang dikenal mendapat satu angka, dan angka-angka dinormalisasi agar jumlahnya satu di seluruh kosakata. Sebagai urutan ini informatif: foto ini jauh lebih mirip retriever daripada pemanggang roti. Sebagai probabilitas bahwa objek nyata hadir, ini jauh lebih lemah, dan itu persis topik bagian kelima.

Perjelas apa yang tidak terjadi. Tidak ada langkah tempat model membandingkan foto Anda dengan pustaka foto tersimpan, dan tidak ada kamus definisi di dalamnya. Dua foto anjing yang sama mengaktifkan jalur yang sama melalui jaringan karena keduanya membawa keteraturan yang sama, bukan karena model mengingat salah satunya.

Belajar dari contoh, bukan dari aturan tulisan

Selama beberapa dekade, pendekatan yang jelas adalah menulis aturan dengan tangan: jika benda itu bulat dan oranye, itu bola. Program itu runtuh karena foto tidak mau bekerja sama. Bola yang sama muncul di empat puluh sudut, dalam enam kondisi cahaya, setengah tertutup kursi, kabur karena gerakan. Mengodekan variasi itu sebagai logika tidak mungkin.

Pendekatan yang menggantinya membalik arah kerja. Anda menyediakan gambar yang sudah diberi label manusia, plus model yang bobotnya berawal sebagai derau. Model menebak, sebuah ukuran memberi nilai seberapa salah ia, dan pengoptim mendorong setiap bobot ke arah yang seharusnya mengurangi galat. Ulangi atas jutaan gambar dan banyak lintasan. Tidak ada yang menentukan bentuk anjing; konsep anjing berakhir tersebar di seluruh bobot sebagai efek samping dari proses penyesuaian.

Pilihan itu membeli generalitas dan dibayar dengan tiga hal yang layak diingat. Model Anda hanya bisa mengenali kategori yang terwakili dalam label latihan. Ia mewarisi bias dataset, karena ia adalah ringkasan dari dataset itu. Dan ia bisa salah dengan percaya diri dengan cara yang tidak akan dilakukan sistem aturan, karena ia tidak pernah kehabisan pola untuk dicocokkan.

Latihan juga membekukan kosakata secara permanen. Menambah satu kategori mengubah bentuk lapisan terakhir, yang membatalkan bobot di bawahnya, yang berarti melatih ulang dengan menyertakan contoh kelas baru.

Satu detail terakhir mengejutkan orang: model yang dikirim ke perangkat Anda bukan model yang dilatih. Pelatihan berjalan pada presisi angka penuh agar dorongan-dorongan itu tetap bermakna. Saat dipasang di perangkat, bobot biasanya dikuantisasi, disimpan satu byte masing-masing dan bukan empat byte yang dibutuhkan angka presisi penuh. Itu pergantian format penyimpanan pada jaringan yang sama, dan itulah yang membuat model cukup kecil untuk tab peramban, dengan harga sedikit resolusi pada angka keluaran.

Tiga pertanyaan yang sama-sama disebut pengenalan

Orang memakai istilah pengenalan gambar sebagai satu label untuk tiga tugas dengan keluaran dan tingkat kesulitan yang berbeda. Mencampuradukkannya menyebabkan sebagian besar kekecewaan di bidang ini, karena sistem yang jago pada satu tugas biasanya sama sekali tidak bisa melakukan yang lain.

Klasifikasi: apa isi foto ini?

Klasifikasi mengambil gambar utuh dan mengembalikan satu label, atau beberapa yang terurut. Tidak ada posisi dalam keluaran. Ia menjawab “ini foto kucing” dengan sangat baik dan sama sekali tidak menjawab “di mana kucingnya”.

Ia paling mudah dikecilkan, itulah tugas yang berjalan di ponsel dan demo peramban. Ia juga diam-diam mengandaikan satu subjek dominan: beri seorang pengklasifikasi lima benda tak berhubungan dan Anda mendapat perdebatan yang diselesaikan menjadi satu atau dua label, dengan sisanya dibuang.

Deteksi: di mana tiap benda?

Deteksi mengembalikan sekumpulan hasil, masing-masing satu kategori plus satu persegi panjang: banyak objek, banyak label, lengkap dengan posisi. Dataset deteksi publik mencakup antara beberapa puluhan kategori sehari-hari sampai beberapa ribu, masing-masing satu kosakata tetap sama seperti pada klasifikasi.

Deteksi biasanya dibangun di atas tulang punggung klasifikasi, lalu satu tahap yang mengusulkan wilayah kandidat dan melabeli masing-masing. Tahap tambahan itu sebabnya detektor lebih besar dan lebih lambat, dan mengapa model kecil yang muat di tab umumnya adalah pengklasifikasi.

Segmentasi: piksel mana milik apa?

Segmentasi mengeluarkan masker, menetapkan setiap piksel ke satu kelas. Dalam bentuk paling sederhananya itu adalah lapisan kode warna yang tidak memisahkan dua anjing yang berdiri berhimpitan; segmentasi instans melangkah lebih jauh dan memisahkan mereka sebagai objek individual.

Ini yang paling mahal dari ketiganya, karena jaringan menjawab untuk setiap piksel, bukan untuk gambar atau untuk sebuah kotak. Ini yang Anda butuhkan ketika tugasnya mengukur sesuatu, misalnya menghitung sel pada preparat atau memisahkan jalan dari trotoar. Kotak adalah dugaan tentang lokasi; masker adalah klaim tentang bentuk.

Bagian yang semua orang salah pahami: skor mengurutkan daftar tetap

Jika Anda mengambil satu hal dari panduan ini, ambillah ini. Angka keluaran dari pengklasifikasi adalah urutan atas satu set nama tertutup yang boleh dipelajari model, dan tidak lebih. Hampir semua kesalahan orang dengan sistem ini berasal dari melupakan hal itu.

Kosakata diputuskan selama latihan dan tidak pernah berubah ketika model berjalan. Model yang dilatih pada seribu kategori sehari-hari hanya bisa mengeluarkan satu dari tepat seribu label untuk foto Anda, selalu, dan menampilkan lima teratas menyembunyikan sembilan ratus sembilan puluh lima sisanya. Tidak ada tempat untuk jawaban di luar daftar, dan yang penting tidak ada tempat untuk “tidak ada yang cocok”.

Jadi apa yang terjadi ketika Anda memotret sesuatu yang tidak punya nama di daftar? Model tidak mengangkat bahu. Ia menerapkan bobotnya, satu label lama kebetulan lebih cocok dengan tekstur atau warnanya daripada yang lain, dan Anda mendapat jawaban. Foto kartu akses kantor bisa kembali sebagai “amplop”. Hidangan dari kuliner yang nyaris tidak terjangkau bisa kembali sebagai “mangkuk sup”. Keduanya bukan halusinasi dalam arti dramatis: itu nama terdekat yang tersedia, dan hanya itu yang arsitekturnya tawarkan.

Setengah dari kesalahpahaman lainnya adalah angka itu sendiri. Karena seribu label bersaing untuk total satu, skor pemenang bergantung pada label mana yang jadi pesaingnya. Dua ras yang berkerabat dekat membagi bukti yang sama, jadi masing-masing mendapat angka lebih rendah daripada jika yang lain tidak hadir. Skor 0.55 pada tugas yang rinci bukan pernyataan yang sama dengan 0.55 di antara seribu kelas yang sangat berbeda, dan tidak ada satu pun angka ini sebagai probabilitas bahwa objek itu ada.

Jadi bacalah bentuk distribusinya daripada memercayai angka utamanya. Satu label jauh di depan berarti foto cocok dengan sesuatu yang dikenal baik oleh model. Lima label yang bergerombol berarti ia sedang memutuskan di antara yang hampir setara, dan itu sering berarti jawaban sebenarnya tidak hadir sementara ia memilih di antara tiga yang terdekat.

• Skor membandingkan di dalam satu kosakata tetap; ia tidak mengukur seberapa pasti dunianya.
• Model tidak bisa mengeluarkan nama yang tidak pernah ia latih, apa pun yang diperlihatkan kepadanya.
• Tidak ada kelas “tidak dikenal” kecuali seseorang sengaja membangunnya.
• Hasil Top-5 yang datar dan bergerombol adalah sinyal dengan sendirinya: ini tidak jelas ada di kosakata saya.
• Pemimpin yang nyaris tidak mendahului label kelima dengan arti berbeda adalah hal terdekat dengan angkat bahu.

Tempat ia salah

Model hasil latihan adalah ringkasan statistik dari datanya, jadi ia gagal berpola, bukan acak. Lima pola itu menjelaskan sebagian besar yang Anda lihat di luar paper riset.

Bias dataset latihan

Apa yang memenuhi dataset, itulah yang jadi dikuasai model. Koleksi gambar publik terlalu mewakili negara tertentu, gaya kamera, benda, dan konteks, dan kemampuannya mengikuti distribusi itu seperti bayangan. Kategori yang muncul jarang, atau hampir selalu di satu latar, hanya dikenali di latar itu. Manusia paling buruk di sini: sistem yang dilatih pada populasi timpang lebih baik pada grup yang paling sering ia lihat, dan itu sifat datanya, bukan sifat orangnya.

Jalan pintas latar, bukan si objek

Model yang dilatih pada foto anjing di halaman belajar bahwa rumput adalah petunjuk kuat anjing. Pindahkan anjing ke dapur dan skornya turun. Letakkan bantal berbentuk anjing di rumput dan skornya naik. Itu cara paling andal untuk membongkar seorang pengklasifikasi: ubah konteksnya, biarkan subjeknya, lihat jawabannya bergerak. Model memakai semua korelasi yang datanya tawarkan, dan tidak bisa membedakan bukti mana yang penting.

Sudut aneh, potongan ketat, dan pembingkaian tidak biasa

Sebagian besar foto latihan menunjukkan subjek di tengah, tegak, dan terlihat sebagian besar. Ambilan dari tepat atas, close-up ekstrem satu komponen, gambar yang diputar atau banyak dipotong, semuanya mendorong masukan menjauh dari hal yang bobotnya disetel untuk itu. Memotong licik dua kali: bisa menghapus konteks yang diandalkan model, atau menyisakan konteksnya saja dan menghapus subjeknya.

Resolusi rendah dan kompresi berat

Detail membawa perbedaan antar kategori yang mirip, dan detail adalah hal pertama yang hilang. Perkecil foto ke grid masukan model dan subjek kecil bisa berakhir dengan piksel lebih sedikit daripada tepinya sendiri, saat itu model hanya mencocokkan noda warna. Kompresi menambah tekstur yang tidak pernah ada di data latihan, jadi model bisa terlihat hebat pada foto asli kamera dan tidak andal pada thumbnail.

Jurang antara top-1 dan top-5

Top-1 menghitung hasil sebagai benar hanya jika label yang pertama sekali yang benar. Top-5 menghitungnya benar jika kebenaran muncul di mana pun dalam lima pertama. Jurang di antaranya adalah diagnostik: ia melebar justru ketika model benar tentang jenis umumnya tetapi tidak bisa memastikan yang mana. Satu angka yang dilaporkan dan dihitung sebagai top-5 adalah versi yang memoles hasilnya.

Pengenalan wajah adalah tiga sistem yang berbeda

Tanya bagaimana pengenalan wajah bekerja dan Anda sudah mengajukan pertanyaan dengan tiga jawaban. Ketiganya tugas berbeda dengan kesulitan berbeda, mode gagal berbeda, dan konsekuensi berbeda bagi orang yang terlibat. Pengklasifikasi gambar tidak punya pendapat tentang siapa Anda, dan alasannya struktural, bukan fitur yang kurang.

Deteksi wajah: apakah ada wajah, dan di mana

Yang paling mudah dari ketiganya, dan yang sebenarnya dilakukan kebanyakan produk yang menyebut diri pengenalan wajah. Keluarannya adalah hitungan dan beberapa persegi panjang, kadang titik acuan mata, hidung, dan mulut. Tidak ada identitas di dalamnya. Detektor dengan senang hati berkata ada tiga wajah di sini dan tidak tahu apakah mereka orang asing atau saudara.

Verifikasi wajah: apakah ini orang yang sama

Perbandingan satu ke satu. Anda mendaftar sekali, sistem menyimpan template angka yang dibangun dari wajah Anda, dan nanti menjawab satu pertanyaan sempit: apakah wajah baru ini cocok dengan template yang disimpan itu? Itulah bentuk masalah yang diselesaikan buka kunci ponsel, dan itu lebih mudah daripada identifikasi karena bandingannya satu acuan yang dikenal, bukan kerumunan. Verifikasi punya dua jenis galat, menerima penyusup dan menolak pemilik asli, dan titik operasinya adalah pertukaran yang dipilih, bukan kemampuan tetap.

Identifikasi wajah: siapa ini, di antara semua orang

Pencarian satu ke banyak: ambil wajah yang tidak dikenal dan cari kecocokan terbaik di antara kandidat, masalah open set yang sulit. Ia harus bekerja pada orang yang tidak pernah mendaftar, dengan pose, cahaya, dan usia apa pun yang tertangkap kamera, melawan galeri yang terus bertambah besar. Tingkat galatnya naik dengan besarnya galeri itu, ia mewarisi semua bias di dalamnya, dan punya konsekuensi terburuk ketika salah, karena jawaban yang salah menamai orang yang tidak bersalah. Berbeda dengan verifikasi, identifikasi bisa berjalan tanpa persetujuan subjek.

Apa yang sebenarnya dilakukan ponsel, dan jebakannya

Buka kunci pada ponsel modern adalah verifikasi, bukan identifikasi, dan arsitekturnya mencerminkan itu. Saat penyetelan, kamera melihat wajah Anda dan membangun template di perangkat: kode angka yang berasal dari bentuk yang Anda tampilkan. Pencocokan kemudian membandingkan bidikan langsung dengan acuan yang disimpan lokal itu. Tidak ada bagian dari wajah Anda yang dikirim ke mana pun untuk melakukan perbandingan, dan tidak ada server yang memegang galeri wajah orang lain untuk dicari ponsel. Menjaga pendaftaran dan pencocokan di perangkat adalah rancangan yang benar-benar berbeda dari mencari wajah Anda di basis data.

Sebagian besar ponsel juga berhenti memperlakukan masukannya sebagai foto warna biasa. Informasi kedalaman, yang dikumpulkan dengan memproyeksikan dan mengukur pola cahaya, membuat sistem memeriksa bentuk wajah dan bukan fotonya, dan itulah yang membuat foto cetak menjadi pengganti yang buruk. Mekanismenya berbeda antar perangkat, jadi panduan ini tidak membuat klaim tentang model tertentu.

Jebakannya tentang apa itu biometrik. Kata sandi adalah rahasia yang Anda pilih; keamanannya berasal dari tidak ada orang lain yang tahu dan dari kemampuan Anda menggantinya begitu Anda curiga ia bocor. Wajah bukan rahasia. Anda memamerkannya terus menerus, gambar tajam darinya ada di server orang lain, dan siapa pun yang mirip dengan Anda memilikinya juga. Jika template wajah bocor, Anda tidak bisa menerbitkan ulang wajah Anda. Anda menghapus pendaftaran dan menyetelnya lagi, dan yang diukur tetap publik.

Jadi perumusan yang jujur tentang buka kunci wajah adalah kenyamanan dengan penghalang nyata, bukan brankas. Jalur mundur ke kode sandi setelah penyalaan ulang atau percobaan gagal ada karena itu, dan kode sandi adalah bagian yang berlaku seperti rahasia. Biometrik mencegah percobaan asal-asalan dari orang yang tidak mengenal Anda dengan baik; rahasia yang dihafal adalah yang menjaga dari lebih dari itu.

Di mana pengenalan gambar membuktikan nilainya

Sisihkan hype-nya, dan penerapan yang untung terus-menerus berbagi satu ciri: mereka memisahkan volume gambar yang luar biasa banyak ke satu set ember yang tetap lebih cepat daripada tim manusia mana pun, dan mereka mengarahkan pekerjaan, bukan menuntaskannya.

• Pustaka foto: menemukan foto anjing Anda atau tumpukan struk Anda tanpa penandaan manual.
• Dokumen: mengenali bahwa satu halaman adalah struk, kartu nama, atau faktur, meluruskannya, dan mengirim isian ke formulir yang benar.
• Aksesibilitas: mendeskripsikan isi pemandangan dengan suara, dan menulis teks alternatif agar foto tidak menjadi jalan buntu bagi pembaca layar.
• Ritel dan logistik: menghitung stok di rak, menandai barang yang salah tempat, dan membaca ke mana paket harus pergi.
• Kesehatan sebagai asisten: menandai satu wilayah pada rontgen atau preparat untuk ditinjau klinisi, dengan manusia yang mengambil keputusan.
• Moderasi platform: menemukan konten terlarang di unggahan dalam volume yang tidak akan sanggup dibaca tim mana pun dengan tangan, dengan manusia pada kasus yang ambigu.
• Penyortiran fisik: buah di ban berjalan, barang daur ulang di sabuk lain, spesies invasif di kamera jebak, ketika kategorinya diketahui dan lajunya tidak.

Mencoba di sini: apa yang demo ini lakukan dan tidak lakukan

Alat yang ditautkan adalah demonstrasi kecil yang memang disengaja dari alur di atas. Ia menjalankan model vision ringkas yang dirancang untuk perangkat mobile, disimpan dalam bentuk terkuantisasi, sepenuhnya di dalam tab peramban Anda. Gambar Anda diubah ke dimensi masukan model, didorong melalui jaringan, dan Anda mendapat Top-5 label dengan skornya, diambil dari satu set tetap sekitar seribu kategori sehari-hari ImageNet. Tidak ada yang diunggah: piksel tetap lokal dan hanya bobot terlatih yang diambil.

Cakupan itu membawa batasan, dan batasannya adalah yang dibahas panduan ini, bukan kerugian yang ditambahkan dengan sengaja. Ini hanya klasifikasi gambar utuh, jadi tidak ada kotak pembatas, tidak ada wilayah, dan tidak ada jawaban per objek; detektor adalah alat yang berbeda. Ia tidak melakukan pengenalan wajah jenis apa pun dan tidak mengidentifikasi orang, jadi ia tidak bisa memberi tahu wajah siapa yang ada di sebuah foto. Anda tidak bisa menambah kategori: set label dipatok oleh latihan, dan memperluasnya berarti melatih ulang. Tidak ada pencarian kemiripan atau pencarian gambar terbalik, jadi ia tidak akan menemukan gambar yang secara visual sebanding.

Perhitungkan juga mode gagalnya. Karena gambar diubah ke ukuran masukan model, detail halus benar-benar hilang, jadi objek kecil dan masukan resolusi rendah mendapat bukti yang lebih tipis untuk diolah. Penjelasan pendek ada untuk sebagian kelas dan sisanya jatuh ke kalimat umum, jadi jangan baca catatan itu sebagai basis pengetahuan per kategori. Dan karena kosakatanya seribu kategori sehari-hari, benda yang tidak biasa mengembalikan nama terdekat yang masuk akal, bukan pengakuan tidak tahu.

Bagian yang menarik adalah melihat skor berperilaku. Foto seekor hewan umum dengan jelas dan perhatikan distribusi yang memuncak. Coba subjek yang sama dari atas, atau dipotong sampai tinggal sepotong, dan lihat urutannya bergeser. Coba sesuatu yang tidak punya nama di daftar dan lihat ke label mana ia meraih. Lalu perlihatkan beberapa benda tak berhubungan dan lihat satu subjek menang.

Pada pemakaian pertama bobotnya diunduh, dan setelah itu peramban Anda memakainya ulang, jadi Anda tidak mengambil model setiap kali berkunjung. Gambar itu sendiri tidak pernah keluar dari mesin Anda.

Pertanyaan yang sering diajukan