Bagaimana OCR Bekerja? Alur Prosesnya, Tahap demi Tahap

Apa OCR Sebenarnya

OCR menjawab pertanyaan yang tampak sederhana tetapi menyesatkan: jika diberikan gambar yang berisi teks, apa isi teks itu? Inputnya adalah piksel. Outputnya adalah karakter. Tidak ada pemetaan langsung antara keduanya: huruf A besar dalam satu font, pada satu ukuran, di satu printer, adalah pola piksel yang berbeda dari huruf A besar di tempat lain mana pun di dunia. Semua yang dilakukan mesin OCR ada untuk menjembatani jarak itu.

Mesin sungguhan tidak mengenali karakter satu per secara terisolasi seperti yang dibayangkan orang. Mesin menyempitkan hipotesis: bagian mana dari gambar yang merupakan teks, bagaimana teks tersusun menjadi baris dan blok, lalu deretan karakter mana yang paling layak melihat gambar baris ini dan bahasa ini. Pengenalan adalah pencarian di antara pembacaan yang layak, bukan pencocokan bentuk huruf dari daftar.

Satu pembedaan yang perlu dibuat sejak awal, karena frasa "bagaimana cara kerja pemindaian OCR" juga bagian dari pencarian ini: OCR bukan pemindaian. Pemindai atau kamera yang menghasilkan gambarnya. OCR yang membacanya. "Pindai ke teks" berarti kedua langkah dijalankan sekaligus, dan kualitas langkah pertama menetapkan batas keras pada langkah kedua: tidak ada mesin yang bisa merekonstruksi tinta yang tidak pernah direkam perangkat Anda.

• Input: gambar raster berisi teks, hasil pindai, foto, atau tangkapan layar.
• Output: karakter yang direkonstruksi, berupa teks polos pada perkakas sederhana, atau lapisan teks berposisi di dalam produk PDF.
• Setiap kegagalan yang dibahas di bawah bermuara pada salah satu tahap alur proses di bagian berikutnya.

Empat Tahap Alur Proses OCR

Semua mesin OCR, dari sistem batch tahun 1970-an sampai model LSTM yang hari ini berjalan di tab peramban, melakukan empat tugas yang sama kira-kira dalam urutan ini. Mengetahui tahap mana yang memiliki kegagalan mana memberi tahu Anda apa yang bisa diperbaiki.

Prapemrosesan: membuat gambar bisa dibaca

Prapemrosesan menyiapkan gambar sebelum satu karakter pun dilihat: skala abu-abu, binerisasi menjadi hitam dan putih (biasanya penentuan ambang adaptif, yang memperlakukan area berbayang dan area terang secara berbeda agar bagian yang samar tetap selamat), pelurusan beberapa derajat, kadang penghilangan bintik derau atau penajaman. Hampir setiap langkah sengaja membuang informasi, karena tahap-tahap berikutnya bekerja pada gambar yang sudah disederhanakan.

Kegagalan tahap ini adalah kegagalan yang Anda bawa sendiri. Kemiringan parah bisa mengalahkan perkiraan pelurusannya sendiri, terutama pada teks pendek. Kontras rendah, teks abu-abu di atas latar abu-abu, naskah pensil yang samar, runtuh saat binerisasi, dan karakter ikut tertelan seolah tidak pernah dicetak. Artefak JPEG mengelilingi glif kecil dengan halo piksel berwarna palsu yang oleh tahap berikutnya dibaca sebagai tanda asing atau menyatu dengan hurufnya. Dan ukuran huruf yang sangat kecil kehilangan ciri pembedanya lebih dulu: lubang pada "o", coretan silang pada "t", tonjolan naik pada "d", justru hal-hal yang memisahkannya dari huruf tetangga.

Ini juga kegagalan yang bisa Anda perbaiki dari sumbernya: lebih banyak cahaya, lebih banyak resolusi, penyimpanan tanpa kompresi rugi, halaman yang rata.

Analisis tata letak dan segmentasi: menemukan teks dan urutannya

Sebelum mengenali apa pun, mesin harus mencari di mana teks berada dan menyingkirkan di mana teks tidak ada: foto, garis, bingkai, cap. Setelah itu ia memotong wilayah teks menjadi baris, dan baris menjadi calon kata. Analisis tata letak juga adalah tempat urutan baca ditentukan.

Kegagalan di sini bukan huruf yang salah, melainkan struktur yang salah. Halaman dua kolom yang dianalisis sebagai satu kolom lebar menyelang-selingkan kedua teks baris demi baris dan menghasilkan keluaran yang setiap katanya sendiri benar tetapi makna keseluruhannya kacau. Tabel dengan garis tepi yang samar terpotong menjadi kolom di tempat yang tak terduga, judul dengan renggang antarhuruf terbelah menjadi beberapa "kata", dan penanda catatan kaki superscript tersesat ke tengah kalimat di bawah tempatnya semula. Karena semua tahap berikutnya sepenuhnya mempercayai tahap ini, kesalahan tata letak tidak bisa dibatalkan di hilir.

Pengenalan: mengubah gambar baris menjadi karakter

Pengenalan mengubah isi gambar sebuah baris teks menjadi karakter. Mesin klasik melakukannya satu glif pada satu waktu, membandingkan setiap bentuk huruf yang dipotong dengan model yang telah dipelajari. Mesin modern melakukannya satu baris pada satu waktu: seluruh gambar baris dimasukkan ke jaringan saraf dan keluar sebuah deretan karakter. Di kedua era, mesin yang mengusulkan, dan pengetahuannya tentang apa yang layak, daftar kata atau model bahasa, mengambil banyak bagian keputusan.

Kegagalan khasnya adalah kebingungan antara hal yang mirip secara visual: angka nol versus huruf O besar, angka satu versus l kecil dan I besar, angka lima versus S, angka delapan versus B, "rn" versus m. Ada dua ragam. Gambarnya memang bisa benar-benar ambigu: angka 8 cetakan yang lengkung bawahnya tertutup buruk terbaca sebagai 3 oleh siapa pun. Atau gambarnya bersih tetapi model memang tidak pernah melihat bentuk itu: font display yang eksotis, tipografi dekoratif, atau tulisan tangan yang tidak pernah menjadi bahan pelatihan model teks cetakan. Ragam pertama diperbaiki dengan pindai yang lebih baik. Ragam kedua sama sekali tidak terperbaiki.

Pascapemrosesan: memeriksa kewarasan hasil

Pascapemrosesan menguji hasil mentah mesin pengenal terhadap harapan: kamus bahasa, aturan untuk pasangan huruf yang sering tertukar, pola untuk angka, tanggal, dan nilai uang. Kata dengan skor rendah adalah yang paling mungkin ditinjau ulang atau ditandai.

Mekanisme yang memperbaiki "tlie" menjadi "the" adalah mekanisme yang juga menulis ulang kode produk yang benar menjadi kata kamus yang paling mirip. Itulah sebabnya keluaran OCR bisa selesai "dibersihkan" menjadi sesuatu yang tidak pernah dicetak: nama orang, nomor seri, dan alamat dinormalkan ke arah yang diharapkan bahasa. Jika pembedaan itu penting bagi Anda, solusinya kualitas input dan verifikasi manusia, bukan tahap kamus.

Bagaimana OCR Mengenali Teks Sebelum Jaringan Saraf

Alur proses di atas sudah ada beberapa dekade sebelum OCR berbasis machine learning. Yang berubah adalah tahap pengenalan di dalamnya. Pengenalan karakter melewati tiga generasi, dan kebiasaan lama masih muncul pada mesin hari ini.

Pencocokan templat

Pendekatan paling awal melakukan binerisasi pada gambar, memotong setiap bercak tinta yang terhubung sebagai calon karakter, dan membandingkan tiap bercak dengan bentuk huruf yang disimpan, lalu mengambil yang paling mirip dengan penskalaan. Cara ini hanya berhasil ketika font-nya memang yang diharapkan: perubahan apa pun pada ketebalan, ukuran, atau kualitas cetakan menghancurkan kemiripan tingkat piksel. Perangkat lunak OCR lama yang terikat pada segelintir font mesin tik adalah pencocokan templat yang sedang bekerja.

Ekstraksi ciri dan pengklasifikasi

Generasi berikutnya berhenti membandingkan gambar dan mulai membandingkan deskripsi: apakah glif punya lubang, berapa banyak goresan, apakah goresan bersilangan, adakah bagian naik atau turun. Sebuah pengklasifikasi, aturan statistik, pohon keputusan, kemudian jaringan saraf kecil, memetakan daftar ciri itu ke sebuah karakter. Pendekatan ini jauh lebih tahan terhadap pergantian font, tetapi hidup matinya bergantung pada segmentasi yang bersih: dua karakter yang bersentuhan berubah menjadi satu bercak yang tidak memiliki ciri keduanya.

Jalur adaptif klasik Tesseract

Secara historis Tesseract menjalankan kedua pendekatan: pengklasifikasi berbasis ciri yang tradisional lebih dulu, lalu pengklasifikasi adaptif yang setiap kali mengenali sebuah karakter dengan yakin akan menambahkan bentuk itu ke daftar templat untuk dokumen yang sedang dibaca. Mesin ini secara harfiah belajar font halaman sambil membacanya. Trik adaptif itu menjelaskan perilaku warisan yang masih membuat orang heran: OCR lama bisa bergulat dengan font aneh setelah melihat huruf-hurufnya berkali-kali, tetapi buruk pada kemunculan pertama: halaman-halaman awal sebuah dokumen mendapat keluaran yang lebih buruk daripada halaman berikutnya. Ketika Tesseract membangun ulang mesinnya di sekeliling LSTM, jalur klasik tetap dipertahankan sebagai opsi. Perkakas yang ditautkan di bagian bawah halaman ini hanya menjalankan jalur LSTM yang lebih baru.

Apa yang Diubah Era LSTM

Pergeseran pada OCR modern adalah memperlakukan pengenalan sebagai prediksi deretan, bukan klasifikasi karakter. Jaringan berulang, sebuah LSTM, memori jangka panjang dan jangka pendek, dapat melihat gambar satu lajur vertikal pada satu waktu dan memancarkan aliran prediksi karakter. Teknik pelatihan dan penyandian bernama Klasifikasi Temporal Koneksionis (CTC) memungkinkan jaringan belajar dari pengawasan yang hanya menyatakan apa isi seluruh baris, tanpa label tentang di mana piksel setiap karakter dimulai dan berakhir. Segmentasi karakter berhenti menjadi prasyarat.

Perubahan itu menghapus dua ketergantungan terbesar OCR klasik. Karakter tidak perlu lagi terpisah rapi, karena jaringan membaca seluruh baris sebagai satu gambar. Font berhenti menjadi tembok, karena jaringan mempelajari keteraturan visual tingkat goresan pada gambar baris dalam jumlah sangat banyak alih-alih menghafal templat per karakter. Pada materi cetakan yang bersih, pengenalan sebagian besar berhenti menjadi masalah penelitian, dan input yang kacau menjadi masalah cakupan data pelatihan.

Perubahan itu juga membawa ongkos. Pengenal yang tidak pernah menyegmentasi karakter tidak dapat memberi tahu Anda di mana letak setiap kata kecuali ada komponen lain yang menghitung posisi untuknya. Apa pun yang tidak menjadi bahan pelatihan model, sebuah sistem tulisan, tipografi eksotis, gaya tulisan tangan, kini sekadar tidak terlihat olehnya, bukan sekadar sulit. Mode kegagalan mesin LSTM sering kali bukan jawaban yang ragu-ragu, melainkan jawaban salah yang penuh yakin.

Bagaimana Jalur LSTM Tesseract Bekerja

Tesseract adalah mesin sumber terbuka yang dipakai perkakas peramban yang ditautkan (sebagai tesseract.js, versi portabel yang menjalankannya di dalam tab Anda). Jalur LSTM-nya memproses halaman dengan urutan tertentu, dan menelusurinya membuat bagian-bagian sebelumnya menjadi konkret.

Penyiapan halaman dan tata letak

Gambar diubah ke skala abu-abu lalu ke binerisasi adaptif. Mesin memperkirakan orientasi teks yang dominan, kemudian mengklasifikasi wilayah sebagai teks atau bukan teks, mendeteksi struktur blok dan kolom, dan memotong blok teks menjadi baris-baris individual dengan kotak batas. Urutan pengurutan kotak itulah urutan keluaran teks Anda.

Pengenalan baris

Setiap gambar baris yang terdeteksi dinormalkan, diubah ukurannya sehingga baris memiliki tinggi tetap yang menjadi bahan pelatihan jaringan, lalu dimasukkan ke pengekstrak ciri konvolusioner yang diikuti LSTM dalam. Jaringan mengeluarkan aliran prediksi karakter berbobot probabilitas untuk baris itu, dan penyandian CTC mengerucutkannya menjadi satu pembacaan terbaik. Model bahasa yang disandikan secara ringkas ikut berperan selama pelatihan dan penyandian, itulah sebabnya mesin lebih memilih deretan huruf yang layak daripada kemiripan visual mentah.

Merakit hasil

Calon kata menerima skor keyakinan yang dihitung dari probabilitas mesin pengenal sendiri, lalu dirata-ratakan untuk dilaporkan. Sebuah lintasan berbasis kamus memperbaiki atau menandai kata yang meragukan. Akhirnya teks disatukan dalam urutan baca yang dipilih analisis tata letak, itulah sebabnya urutan kolom yang tertukar tidak bisa diperbaiki pada tahap ini.

Apa yang sebenarnya dijalankan perkakas yang ditautkan

Halaman peramban memulai worker dalam mode hanya-LSTM, jalur pencocokan pola warisan mesin dimatikan, jadi persis inilah yang terjadi pada berkas Anda. Kode worker bawaan pustaka, inti mesin, dan model traineddata untuk bahasa pilihan Anda diambil dari CDN jsDelivr. Tepat empat bahasa yang dapat dipilih: Inggris, Spanyol, Portugis Brasil, dan Indonesia. Setiap model berukuran kira-kira 2–15 MB, Inggris sekitar 10 MB. Setelah itu semuanya duduk di cache peramban, tetapi itu cache, bukan dukungan tanpa internet: berganti bahasa membuat ulang worker dan mengunduh model yang setara, dan jalankan pertama kali tanpa internet akan gagal.

Arti Skor Keyakinan, dan Apa yang Tidak Bisa Dikatakannya

Keyakinan pada keluaran OCR adalah estimasi mesin pengenal sendiri tentang seberapa yakin ia, biasanya dilaporkan sebagai persentase. Mesin menghitung skor untuk setiap kata di internalnya, tetapi perkakas yang ditautkan di sini menampilkan satu angka rata-rata atas seluruh hasil. Ini sinyal yang berguna, tetapi hanya untuk satu pertanyaan: apakah model melihat bentuk yang cocok dengan sesuatu yang akrab dari masa pelatihannya?

Yang tidak bisa dikatakannya hampir semuanya. Rata-rata adalah diagnostik yang lemah: halaman berskor tinggi yang terbaca lancar bisa menyembunyikan satu nomor rekening yang salah dengan penuh yakin, karena nomor itu hanya pecahan sangat kecil dari total. Probabilitas model dilatih agar kira-kira terkalinasi pada distribusi pelatihannya, dan dokumen bersifat menyerang: angka 8 yang terdegradasi dan terbaca sebagai B bukan berarti kurang mungkin memperoleh skor tinggi hanya karena tintanya samar. Penyandi deretan juga memusatkan probabilitas pada pembacaan yang memenangkan kompetisi, sehingga baris yang di dalam model hanya mengakui satu pembacaan layak bisa kembali nyaris pasti sambil tetap salah pada nama, kode, atau tanda.

Bacalah hasilnya sebagai "mesin berada di wilayah yang dikenalnya", bukan "ini sudah terverifikasi". Perlakukan rata-rata keyakinan tinggi sebagai izin untuk cek berkala, dan perlakukan angka, identitas, dan nama seolah keyakinan tidak ada, karena persis pada token tempat kesalahan melukai, keyakinan itu efektif tidak ada. Perkakas ini menampilkan satu angka rata-rata dan tidak mengekspos skor per kata maupun ambang lulus, jadi ia tidak bisa memberi tahu kata mana yang ia ragukan.

Tempat OCR Salah dalam Praktik

Sampingkan kebingungan huruf, ada daftar pendek kelas input yang secara andal mengalahkan alur proses ini. Jika salah satunya adalah bahan harian Anda, Anda sudah punya intuisi tentang keluarannya. Ini pembukuannya.

• Urutan baca multi-kolom. Analisis tata letak biasanya menangani dua kolom bersih dengan membaca satu blok sampai tuntas, lalu blok berikutnya. Ketika celah antarkolom samar, margin sempit atau tabel bergaris, mesin menyelang-selingkan kolom baris demi baris: setiap kata sendiri benar, urutan keseluruhan salah, dan tidak ada tahap pascapemrosesan yang bisa memperbaikinya.
• Digit yang menyatu. Di tempat karakter bersentuhan atau hampir bersentuhan, cetakan dot-matrix, resolusi rendah, atau jarak antarhuruf yang rapat, sepasang angka satu bisa tampil sebagai satu glif lebar, dan sederet angka kehilangan pemisahnya sepenuhnya. Pembaca baris LSTM menangani ini lebih baik daripada mesin klasik per glif, tetapi deretan digit di tabel dan formulir tetap tempat OCR diam-diam merusak data.
• Ligatur. Tatanan huruf lama dan berkualitas tinggi menggabungkan beberapa pasangan huruf menjadi glif tunggal. Percetakan sebelum abad kesembilan belas memakai huruf s panjang yang terlihat seperti f. Bergantung pada apa yang dilihat model selama pelatihan, Anda bisa mendapat huruf-huruf yang terpecah, satu titik kode Unicode ligatur yang eksotis, atau substitusi yang tampak layak.
• Cap, frank pos, dan cetak tindih. Teks yang diputar, teks melengkung, dan teks yang dicetak di atas teks lain mengalahkan analisis tata letak bahkan sebelum pengenalan dimulai: mesin bisa mengklasifikasikan tanda itu sebagai grafik dan melewatinya, atau mencoba membaca frank dan alamat sebagai satu tumpukan tinta.
• Halaman yang difoto dan melengkung. Prapemrosesan mengestimasi satu sudut kemiringan per halaman, dan normalisasi baris mengandaikan semua baris berbagi satu skala tinggi. Halaman melengkung melanggar keduanya di tengah dokumen: kemiringan berubah baris demi baris, fokus merosot ke arah punggung buku, dan gradien cahaya menyapu lembaran. Itulah sebabnya pindai datar mengalahkan foto ponsel.
• Tulisan tangan. Model teks cetakan, termasuk data bahasa standar yang diunduh perkakas ini, tidak dilatih untuknya. Pengenalan tulisan tangan adalah kelas model tersendiri, dan tulisan sambung tetap menjadi input umum tersulit di bidang ini.

Adobe Acrobat, Bluebeam, dan Lapisan Teks

Pembaca yang sampai pada pencarian ini sering ingin tahu bagaimana OCR bekerja di dalam perangkat dokumen yang sudah mereka punya. Adobe Acrobat adalah produk PDF, dan fitur OCR-nya mengambil PDF yang halamannya adalah foto halaman, menjalankan alur proses di atas pada setiap gambar halaman, dan menyimpan hasilnya sebagai lapisan teks tak terlihat dan berposisi di balik gambar yang terlihat. Halaman menjadi bisa dipilih, bisa dicari, dan bisa dibaca pembaca layar. Keluaran itu lazim disebut PDF yang bisa dicari.

Bluebeam adalah produk penandaan PDF yang banyak dipakai di bidang konstruksi dan rekayasa. Opsi OCR-nya melakukan pekerjaan yang sama di dunia itu: memberi gambar teknik dan dokumen hasil pindai sebuah lapisan teks sehingga isinya bisa dicari dan disalin. Inputnya condong ke halaman format besar, berputar, dan sedikit teks, yang menekan tahap tata letak lebih dari mesin pengenalnya.

Perkakas yang ditautkan di bagian bawah panduan ini sengaja berbeda jenis, dan dua paragraf di atas tidak boleh dibaca seolah menggambarkan perkakas ini. Ia menerima satu gambar PNG, JPG, atau WebP dan mengeluarkan teks polos: tanpa tata letak, tanpa posisi per kata, tanpa lapisan teks, dan tanpa PDF yang bisa dicari. Jika Anda membutuhkan perilaku lapisan tak terlihat, Anda membutuhkan produk PDF. Jika Anda membutuhkan karakternya dengan cepat tanpa mengunggah apa pun, perkakas peramban inilah yang cocok.

Yang Membuat Gambar Mudah bagi OCR

Setiap tips di bawah dipetakan ke satu tahap tertentu dari alur proses, itulah sebabnya tips-tips itu bekerja dalam urutan nilai yang bisa diprediksi.

• Resolusi dulu. Sekitar 300 piksel per inci pada ukuran teks cetakan adalah sasaran pindai yang biasa; huruf kecil menuntut lebih. Jika Anda tidak bisa dengan nyaman membaca satu karakter pada zoom penuh di layar, mesin pengenal juga tidak bisa, karena detail tinta yang diandalkan tahap-tahap itu secara fisik tidak ada.
• Kontras tanpa silau. Teks gelap di atas latar terang, terang merata. Titik panas flash dan bayangan di lipatan halaman menciptakan wilayah lokal tempat binerisasi tidak punya sinyal untuk dipertahankan.
• Rata dan tegak. Beberapa derajat kemiringan bisa dipulihkan; lengkungan tidak. Tekan halaman ke bawah atau masukkan ke pemindai.
• Pilih penyimpanan tanpa rugi bila bisa. PNG untuk tangkapan layar dan tangkapan dokumen. Satu lintasan JPEG dari pindai biasa tidak masalah, tetapi berkali-kali menyimpan ulang sebagai JPEG merusak teks kecil sebelum merusak apa pun yang Anda sadari.
• Jaga area teks tetap bersih. Garis di bawah baris, bingkai yang menyentuh teks, cap di atas alamat, dan anotasi tulisan tangan di atas cetakan semuanya mendorong analisis tata letak ke keputusan yang salah.
• Samakan pengaturan bahasa dengan teksnya. Perkakas ini menawarkan tepat empat bahasa keluaran, dan memilih bahasa yang dipakai teks isi memberi model bahasa peluang terbaiknya; halaman yang mencampur bahasa menurunkan mutu apa pun pilihan Anda.

Menjalankan Alur Proses pada Gambar Anda Sendiri

Halaman yang ditautkan menjalankan mesin yang dijelaskan di atas di dalam tab peramban Anda dengan tesseract.js: pilih bahasa, pilih satu berkas PNG, JPG, atau WebP, dan binerisasi, analisis tata letak, pengenalan baris LSTM, serta pascapemrosesan semuanya terjadi secara lokal. Teks hasil pengenalan muncul dengan jumlah karakter dan satu angka keyakinan rata-rata, siap disalin atau diunduh sebagai berkas .txt.

Batas-batasnya adalah separuh jujur dari deskripsinya. Hanya berkas gambar: PDF, GIF, BMP, dan TIFF ditolak, sehingga PDF hasil pindai harus dijadikan gambar dulu dengan perkakas lain. Keluarannya hanya teks polos: tanpa tata letak yang dipertahankan, tanpa kotak batas per kata, tanpa PDF yang bisa dicari. Satu berkas pada satu waktu.

Perilaku jaringannya, sekali lagi karena ini menjebak orang: jalankan pertama kali mengunduh kode worker, inti mesin, dan model bahasa dari sebuah CDN, Inggris sekitar 10 MB, keempat model berkisar kira-kira 2 sampai 15 MB, dan setelah itu peramban menyimpannya di cache. Jadi ini bukan perkakas yang mengutamakan kerja tanpa internet, dan jalankan pertama kali tanpa internet gagal. Sementara itu, gambar itu sendiri tidak pernah keluar dari peramban; satu-satunya lalu lintas adalah berkas model publik yang sama, diunduh sekali oleh setiap pengunjung.

Ketika ada yang tidak beres, halaman gagal secara halus: tipe berkas yang tidak didukung ditolak dengan pesan galat, gambar tanpa teks yang terbaca mendapat catatan lembut tanpa teks alih-alih crash, dan jika mesinnya sendiri error, halaman melepaskan worker sehingga percobaan Anda berikutnya membangunnya ulang dengan bersih.

Pertanyaan yang sering diajukan