Seberapa Akurat Terjemahan oleh AI? Apa yang Sebenarnya Menentukan Jawabannya

Jawaban singkatnya

Terjemahan oleh AI bisa diandalkan untuk menangkap inti teks berbahasa asing dan untuk membuat draf pertama yang akan ditulis ulang oleh orang. Ia tidak bisa diandalkan di tempat satu nuansa yang salah membawa akibat: kontrak, instruksi medis, pengungkapan keuangan, dokumen pengadilan, apa pun yang Anda terbitkan dengan nama Anda. Pembagian ini bukan celah sementara yang ditutup oleh rilis model berikutnya. Ia mengikuti cara sistem-sistem ini memutuskan hasilnya, dan itu berarti kita bisa memprediksi dengan baik di mana mereka kuat dan di mana mereka gagal tanpa suara.

Di antara kedua kutub itu, tiga variabel mengerjakan hampir semuanya:

• Pasangan bahasanya. Inggris ke Spanyol dan Inggris ke bahasa dengan sedikit teks digital bukan teknologi yang sama dengan performa yang sama.
• Jenis teksnya. Prosa faktual yang lugas diterjemahkan dengan baik. Idiom, sapaan formal, permainan kata, dan kalimat yang maknanya bergantung pada kalimat sebelumnya diterjemahkan dengan buruk, dengan cara yang bisa diprediksi.
• Konteks yang bisa dilihat sistem. Sistem yang menerjemahkan satu paragraf sekali jalan tidak bisa menjaga istilah dan tingkat keformalan tetap konsisten di seluruh dokumen. Tidak ada pengaturan yang memperbaiki itu; ia tertanam di arsitekturnya.
• Anda akan melihat persentase akurasi dikutip di mana-mana. Curigai semuanya, termasuk angka yang mungkin Anda harapkan dari halaman ini untuk alat di bawah, karena tidak ada apa pun di situs ini yang mengukur akurasi terjemahan. Metrik evaluasi yang dipublikasikan pun tidak mengukur apa yang dimaksud oleh kata “akurasi”.

Kenapa tidak ada yang bisa mengutip satu angka akurasi dengan jujur

Terjemahan mesin dievaluasi dengan metrik otomatis, yang paling terkenal adalah BLEU dan turunannya. Memahami apa yang sebenarnya dihitung metrik itu adalah cara tercepat untuk melihat kenapa satu angka akurasi, untuk sistem apa pun, akan menyesatkan Anda.

Apa yang sebenarnya diukur metrik semacam BLEU

BLEU memberi skor pada terjemahan mesin dengan menghitung berapa banyak rangkaian kata pendek di dalamnya, biasanya rentetan sampai empat kata berturut-turut, yang juga muncul dalam satu atau lebih terjemahan manusia sebagai referensi untuk sumber yang sama. Skor tinggi berarti hasilnya mirip dengan susunan kata manusia rata-rata untuk teks itu. Itu tidak berarti maknanya bertahan. Metrik ini membandingkan fragmen kata dengan fragmen kata; tidak ada di dalam proses itu yang memeriksa apakah terjemahan menegaskan apa yang ditegaskan teks asli.

Kenapa skor tinggi tidak berarti terjemahan yang aman

Dua penerjemah yang mahir bisa menyusun satu kalimat dengan kata yang sama sekali berbeda, dan metrik otomatis hanya memberi nilai pada versi yang lebih dekat dengan referensinya. Terjemahan yang mempertahankan hampir semua kata isi pada urutan yang kira-kira benar tetap bisa membalik sebuah negasi, dan skornya hampir tidak akan menyadari, karena negasi itu cuma dua kata di dalam pencocokan fragmen. Untuk bahasa dengan data latihan yang langka, terjemahan yang benar bisa mendapat skor buruk hanya karena tidak ada teks referensi dengan susunan itu untuk dibandingkan. Jadi metrik ini bicara tentang kemiripan, bukan tentang apakah kalimat khusus Anda aman untuk dikirim ke pengacara khusus Anda. Karena itu panduan ini tidak menyatakan persentase untuk siapa pun dan tidak menempelkan skor evaluasi apa pun ke alat yang ditautkan di bawah.

Sumbu pertama: pasangan bahasa

Sistem terjemahan neural modern adalah pembelajar pola. Mereka dilatih dengan teks paralel: koleksi besar dokumen yang berpasangan dengan terjemahan manusianya, diambil dari materi terbitan, subtitle, catatan institusi, dan web. Kecakapan mereka menyusun sebuah konstruksi berbanding lurus dengan seberapa sering mereka melihat konstruksi itu diterjemahkan saat latihan. Fakta tunggal itu menjelaskan celah kualitas paling lebar dalam terjemahan mesin.

Pasangan dengan sumber daya besar berperilaku seperti spesialis

Pasangan bahasa Eropa utama dengan Inggris, seperti Inggris ke Spanyol, Prancis, Jerman, atau Belanda, bertumpu pada puluhan tahun teks paralel yang sudah didigitalisasi. Model melihat jutaan contoh jadi tentang bagaimana setiap konstruksi pada arah itu seharusnya disusun, termasuk idiom dan ragam formalnya. Kualitas pada prosa lugas dari pasangan ini benar-benar tinggi, dan tingkat inilah yang dimaksud orang ketika mereka bilang terjemahan mesin sudah bagus.

Pasangan dengan sumber daya kecil berperilaku seperti penebak

Bahasa dengan sedikit teks digital, entah bahasa daerah di Afrika dan Asia Tenggara, bahasa pribumi di Amerika, atau bahasa Eropa kecil dengan kehadiran terbatas di web, adalah situasi yang sama sekali berbeda. Model hampir tidak melihat bahasa itu saat latihan dan sekarang menyimpulkan secara analogi dari bahasa yang memang ia lihat. Hasil untuk pasangan ini bisa salah tanpa suara: tata bahasanya benar, masuk akal, dan tidak akurat, dan itulah satu mode kegagalan yang tidak bisa Anda antisipasi.

Kenapa model multibahasa paling kuat tepat di tempat datanya berada

Satu model yang mencakup puluhan bahasa membagi kapasitas yang tetap ke semuanya, dan pembagiannya mengikuti data, bukan keadilan. Model multibahasa bersama juga bisa bertumpu pada representasi internal yang mirip Inggris sebagai jembatan untuk pasangan yang ia kuasai dengan buruk, jadi terjemahan antara dua bahasa non-Inggris bisa efektif memutar lewat bahasa ketiga dan mewarisi kesalahan dari perjalanan itu. Itulah kenapa sistem yang dibuat untuk satu pasangan tertentu ada: model umum memusatkan kecakapannya di tempat data latihannya paling padat, dan itu tepat di tempat mereka paling tidak dibutuhkan.

Sumbu kedua: jenis teks, dan bagaimana tiap kelas tulisan gagal

Pilih pasangan bahasa terbaik sekalipun, kualitasnya tetap bergantung pada apa yang Anda masukkan. Prosa faktual dengan kosakata biasa bertahan hampir utuh setelah diterjemahkan. Kelas-kelas di bawah ini bertahan dengan buruk secara bisa diprediksi, dan mengenali kelas mana tempat teks Anda berada adalah uji akurasi paling berguna yang Anda punya. Setiap kegagalan di bawah disertai bentuknya di dalam hasil.

Idiom dan ungkapan baku

Idiom berarti sesuatu yang tidak dikatakan oleh kata-katanya: “kick the bucket” tentang meninggal, bukan tentang ember. Di antara pasangan bahasa yang banyak diterjemahkan, pemetaannya dipelajari, dan hasilnya memakai idiom setara milik bahasa sasaran. Untuk idiom yang kurang umum, idiom daerah, atau slang industri, sistem menyusun kata-katanya dan pembaca mendapat kalimat yang terbaca tapi tidak berarti apa pun. Tandanya adalah hasil yang tiba-tiba menyebut benda harfiah padahal teks asli tidak menyebut apa pun.

Ragam dan keformalan

Banyak bahasa menyandikan jarak sosial secara tata bahasa. Prancis dan Jerman punya orang kedua akrab dan orang kedua formal. Korea dan Jepang memasukkan kesantunan ke dalam akhiran kata kerjanya sendiri, dengan bentuk berbeda untuk bicara dengan teman, klien, atau orang yang lebih tua. Inggris tidak membawa informasi itu, jadi sistem harus menebaknya dari nada saja, dan tebakan bisa salah atau bisa berbeda di paragraf berikutnya. Surat bisnis yang mencampur bentuk sapaan terbaca tidak konsisten pada keadaan terbaik dan tidak sopan pada keadaan terburuk, dan teks aslinya tidak pernah memperingatkan Anda.

Ambiguitas yang tidak bisa diselesaikan kalimat itu sendiri

“The bank is closed” berarti berbeda tergantung bank yang mana, dan jawabannya biasanya ada di paragraf sebelumnya. Kata ganti lebih buruk: ketika satu kelompok berselisih dengan kelompok lain “because they were late”, kata “they” diselesaikan oleh pengetahuan tentang dunia dan konteks sebelumnya. Model harus memilih satu pembacaan, ia memilih dengan yakin, dan hasilnya tidak membawa penanda bahwa teks aslinya ambigu. Kelancaran menyembunyikan hasil lemparan koin.

Istilah

Tulisan teknis, hukum, dan korporat menuntut satu konsep memakai satu label dari awal sampai akhir: nama produk, satu istilah kontrak yang didefinisikan, makna hukum khusus dari kata biasa seperti “consideration”. Sistem yang mengambil keputusan per kalimat memilih makna yang paling umum secara statistik lalu memvariasikan sinonim dari paragraf ke paragraf, jadi satu konsep muncul dengan tiga kata berbeda dalam satu dokumen. Peninjau kemudian menghabiskan waktunya untuk menyelaraskan kosakata alih-alih memeriksa makna.

Angka, tanggal, dan satuan

Tanda baca yang membawa makna adalah korban klasik. Tanda dalam angka seperti 1.234,56 berarti ribuan dan desimal di sebagian besar Eropa, dan sebaliknya dalam bahasa Inggris. Sistem yang menerjemahkan lintas konvensi itu bisa mengubah formatnya, mempertahankannya, atau menerapkannya tidak konsisten di dalam satu dokumen. Tanggal yang ditulis 03/04 bisa Maret atau April tergantung konvensi. Dan “billion” adalah seribu juta pada pemakaian Amerika sekarang, tapi sejuta juta pada pemakaian Eropa berskala panjang. Setiap kesalahan ini terlihat terbentuk dengan sempurna, dan justru begitu ia lolos dari pembacaan ulang.

Negasi dan cakupannya

Negasi memakai sedikit kata tapi memegang seluruh kekuatan semantik. “No significant difference” yang disusun tanpa kata negatif kecilnya akan menegaskan kebalikan dari teks asli. Ambiguitas cakupan lebih halus: “I did not go because I was tired” punya dua pembacaan, menolak pergi dan alasan yang disangkal, dan “not all of the tests passed” bisa datang sebagai “none of the tests passed”. Karena sistem ini diberi nilai untuk menghasilkan teks yang lancar, negasi yang hilang atau bergeser dihaluskan, tidak ditampilkan.

Humor dan permainan kata

Plesetan adalah satu kata yang mengerjakan dua tugas sekaligus dalam satu bahasa. Terjemahan harus memilih salah satu tugas, lalu leluconnya mati tanpa upacara, atau menciptakan lelucon lain di bahasa sasaran, dan Anda baru saja menerbitkan humor orang lain. Sistem hampir selalu mengambil rute pertama: makna harfiahnya sampai, niatnya tidak, dan pembaca tidak pernah tahu ada lelucon di sana.

Sumbu ketiga: seberapa banyak konteks yang bisa dilihat sistem

Model terjemahan tidak membaca dokumen Anda seperti Anda membacanya. Ia membaca teks yang diberikan padanya dalam satu panggilan, sampai ukuran tetap yang disebut jendela konteks, dan semua yang berada di luar jendela itu tidak ada untuk keperluan keluaran ini. Dua sistem dengan bobot yang sama bisa menerjemahkan satu halaman dengan cara berbeda karena yang satu diberi paragraf sebelumnya dan yang lain tidak.

Apa yang Anda dapat dari konteks setingkat dokumen

Ketika seluruh dokumen terlihat, sistem membawa keputusan ke depan: istilah yang Anda tetapkan di halaman satu tetap istilah yang sama di halaman sepuluh, sapaan formal yang Anda pakai di awal tidak meluncur ke sapaan akrab, dan kata ganti di halaman tiga masih bisa menunjuk orang yang diperkenalkan di halaman satu. Ketika hanya potongan yang sedang diproses yang terlihat, setiap keputusan itu diambil ulang dari bukti lokal, dan kadang tidak cocok dengan keputusan sebelumnya.

Kenapa paragraf per paragraf adalah batas arsitektur, bukan pengaturan

Sebagian besar alat terjemahan gratis yang tersedia, termasuk yang ditautkan di bagian bawah halaman ini, memisahkan input Anda di baris kosong dan menerjemahkan setiap paragraf secara terpisah. Itulah jawaban soal konteks pada tingkat desain perangkat lunak: konsistensi antar paragraf bukan sesuatu yang bisa diberikan arsitektur seperti ini, sebagus apa pun model di baliknya. Jika istilah dan bentuk sapaan harus sama di seluruh dokumen panjang, Anda butuh sistem yang satuan terjemahannya adalah dokumen, atau seorang manusia, dan keduanya tidak bisa dipasangkan setelahnya pada mesin yang bekerja paragraf per paragraf.

Untuk apa terjemahan oleh AI bisa diandalkan

Setelah Anda mengenal tiga sumbu itu, penggunaan yang bisa diandalkan mudah disebutkan, dan penggunaan itu layak dianggap serius: jutaan orang memakai terjemahan mesin dengan baik setiap hari tanpa pernah membayar profesional, karena tugas-tugas itu memaafkan persis kesalahan yang dibuat sistem ini.

• Mengambil intinya. Membaca berita, halaman produk, dokumentasi, atau utas dukungan berbahasa asing untuk paham. Anda menyerap isinya; tidak ada yang bertindak berdasarkan pembacaan Anda.
• Menyusun teks keluar. Menulis email kasar dalam bahasa yang tidak Anda kuasai, dengan pemahaman tegas bahwa orang yang menguasainya akan memperbaikinya sebelum dikirim.
• Penyortiran dalam jumlah besar. Mengurutkan ratusan pesan masuk berdasarkan topik sehingga manusia hanya menyentuh yang penting, di mana pembacaan yang sebagian besar benar lebih baik daripada tidak membaca sama sekali.
• Prosa faktual yang sederhana pada pasangan dengan sumber daya besar. Instruksi yang ditulis untuk mesin, daftar persediaan, uraian yang lugas: kalimat deklaratif pendek dengan kosakata konkret adalah titik terbaik teknologi ini.
• Semua hal di atas jika Anda menerima satu aturan tambahan: angka, tanggal, nama, dan negasi diperiksa dengan mata bahkan ketika Anda hanya mengambil intinya, karena kesalahan itulah yang lolos dari hasil yang lancar.

Di tempat nuansa yang salah membawa akibat

Batas yang jujur bukan kualitas, tapi taruhannya. Di wilayah berikut keluaran mesin paling jauh adalah titik awal, dan tidak pernah teks final:

• Hukum dan kontrak. “Shall” lawan “may”, cakupan klausul tanggung jawab, syarat lawan janji. Kontrak gagal tepat pada kata-kata kecil yang dihaluskan, dan halaman yang ditautkan mengatakan hal yang sama di bagian “Kapan jangan gunakan alat ini”.
• Medis. Dosis, waktu, kontraindikasi, dan instruksi yang menegasi. Negasi yang hilang pada instruksi pasien bukan kesalahan memalukan tapi kesalahan berbahaya, dan kedua-duanya terbaca lancar.
• Keuangan. Angka, satuan, kata skala seperti billion, dan konvensi tanggal, yang merupakan format angka yang tercatat salah ditangani teknologi ini.
• Teks terbitan. Apa pun di bawah nama Anda atau logo perusahaan Anda: naskah pemasaran, pengumuman, dokumentasi yang Anda pertanggungjawabkan. Sisa-sisa mesin pada teks terbitan dibaca penutur asli sebagai sinyal tentang Anda.
• Kesepakatan lintas batas jenis apa pun antara pihak-pihak yang masing-masing mengira pihak lain menyetujui apa yang dikatakan versi dalam bahasanya sendiri.

Kenapa peninjauan manusia mengubah gambarnya

Penerjemah profesional tidak mengerjakan hal yang sama dengan lebih keras. Ia membaca untuk mencari akibat yang Anda daftar di atas, menyelesaikan ambiguitas secara sengaja dan bukan lewat preferensi statistik, bertanya kepada Anda apa maksud kalimat yang ambigu, dan bertanggung jawab atas hasilnya. Pasangan yang berhasil di lapangan adalah draf mesin plus revisi manusia: model menyerap halaman kosong, manusia menyerap tanggung jawab. Yang tidak berhasil adalah memperlakukan hasil yang lancar sebagai hasil yang sudah ditinjau, karena kelancaran itulah yang menutupi kesalahan pada kelas-kelas di atas.

Cara memeriksa terjemahan yang tidak boleh salah

Jika Anda sedang memutuskan apakah terjemahan oleh AI aman dipakai, jalankan pemeriksaan berikut sebelum memutuskan hal lain. Pemeriksaan ini menyasar kelas kegagalan spesifik di atas, dalam urutan yang oleh peninjau sudah terbukti bisa dipercaya.

• Terjemahkan balik. Jalankan hasilnya sekali lagi ke bahasa sumber lalu baca. Di tempat maknanya bergeser, versi kedua juga bergeser, dan pergeseran itu tiba-tiba terlihat.
• Baca setiap angka, tanggal, dan satuan terhadap teks asli, karakter demi karakter. Itu tiga puluh detik dengan hasil paling besar yang tersedia.
• Kejar negasinya. Cari setiap “no”, “not”, “never”, “unless”, dan “without” di kedua bahasa dan pastikan masing-masing punya padanan di sisi lain. Negasi yang hilang atau bergeser adalah kesalahan dengan akibat terbesar dan jejak paling tidak terlihat.
• Periksa istilahnya. Pilih lima kata domain terpenting Anda, cari setiap konsep di dalam hasil, dan hitung berapa kata berbeda yang dipakai sistem untuk konsep itu.
• Periksa bentuk sapaannya. Pada bahasa Prancis, Jerman, Korea, Jepang, dan bahasa serupa, pastikan tingkat keformalan yang sama dari paragraf pertama sampai terakhir.
• Minta penutur asli membaca khusus untuk yang aneh. Mereka butuh beberapa menit untuk menandai kalimat yang benar secara tata bahasa tapi salah maknanya, dan Anda tidak bisa meminta peninjau monolingual menanyakan hal yang Anda sendiri tidak sadari.

Alat yang ditautkan: apa sebenarnya penerjemah ini

Alat yang dituju panduan ini adalah penerjemah berbasis browser, dan tiga sumbu di atas adalah kerangka yang tepat untuk menilainya, karena rancangannya menjawab tiap sumbu dengan fakta yang spesifik dan bisa diperiksa.

Halaman ini menawarkan 67 bahasa, dan bahasa mana pun bisa ke bahasa lain: dengan 67 pilihan ada 67 × 66 = 4,422 pasangan berurutan yang mungkin. Delapan pasangan itu istimewa: Inggris ke dan dari Spanyol, Jerman, Belanda, dan Indonesia, yaitu empat arah bahasa pada tiap sisi, 4 × 2 = 8, dilayani model terjemahan Opus kecil yang dibuat untuk arah khusus itu. Semua kombinasi lain, 4,422 kurang 8 = 4,414 di antaranya, berjalan pada satu model multibahasa yang dibagi bersama: NLLB-200, dalam bentuk destilasinya berukuran 600 juta parameter.

Kata “terdestilasi” itulah fakta yang paling relevan untuk kualitas alat ini. Model terdestilasi adalah murid terkompresi yang dilatih meniru guru yang lebih besar: Anda mendapat model yang cukup kecil untuk diunduh ke browser dan dijalankan di perangkat Anda, dan harga yang lazim adalah akurasi dibandingkan model guru yang diperas menjadi model ini. Dan itu satu model tetap yang melayani semua kombinasi bahasa yang tidak punya mesin khusus di halaman ini, termasuk pasangan dengan sumber daya kecil: 600 juta parameter yang sama untuk 4,414 rute, yang merupakan pembagian kapasitas dari sumbu pertama, langsung di depan mata.

Fakta arsitektur lainnya adalah sumbu konteks: teks diterjemahkan paragraf per paragraf, di mana paragraf dipisahkan baris kosong, dan tiap paragraf diterjemahkan terpisah dari yang lain. Masalah konsistensi antar paragraf dari sumbu ketiga jadi merupakan sifat nyata halaman ini, bukan catatan teoretis: istilah dan bentuk sapaan bisa dan akan bergeser di dokumen panjang, dan tidak ada glosarium atau kontrol istilah di halaman ini yang melawannya.

• Berjalan seluruhnya di browser Anda: terjemahan terjadi di perangkat Anda dan teks Anda tidak diunggah ke server mana pun.
• Bobot model diunduh pada kali pertama Anda menerjemahkan, lalu browser Anda memakainya kembali pada kunjungan berikutnya tanpa mengunduh lagi.
• Mesin khusus melayani delapan arah: Inggris dua arah dengan Spanyol, Jerman, Belanda, dan Indonesia; tiap pasangan berurutan lain dari 4,414 sisanya berjalan pada model NLLB terdestilasi yang dibagi bersama.
• Terjemahan paragraf per paragraf, berdiri sendiri tiap paragraf; tanpa konteks setingkat dokumen, tanpa glosarium, tanpa kontrol istilah.
• Tidak ada batas masukan keras yang ditegakkan di dalam kode, dan karena setiap paragraf diproses di perangkat Anda sendiri, dokumen yang sangat panjang dibatasi perangkat keras Anda dan kesabaran Anda, bukan oleh kuota.

Kesimpulannya yang jujur

“Seberapa akurat terjemahan oleh AI” adalah pertanyaan yang salah, dan versi yang lebih baik layak dihafal: akurat untuk pasangan apa, dengan teks seperti apa, mengingat seberapa banyak konteks yang bisa dilihat sistem? Pasangan dengan sumber daya besar, prosa lugas, seluruh dokumen terlihat: hampir siap sebagai draf. Pasangan yang sama, idiom dan negasi, dengan mesin paragraf per paragraf: salah dengan yakin di tempat yang tidak Anda lihat. Pasangan dengan sumber daya kecil pada model umum yang dibagi bersama: omong kosong yang lancar adalah risiko yang Anda terima.

Pakai terjemahan mesin dengan bebas untuk memahami dan untuk draf pertama. Tolak ia sebagai kata terakhir di tempat nuansa yang salah menaruh uang, kesehatan, tanggung jawab, atau reputasi Anda, dan periksa angka, tanggal, nama, dan negasi dengan mata Anda sendiri bahkan ketika Anda mempercayainya. Akurasi adalah sifat dari teks khusus Anda pada sistem khusus Anda, bukan angka di dalam teknologinya, dan setiap klaim yang menyatakan satu angka layak dibaca sebagai pemasaran, bukan sebagai pengukuran.

Pertanyaan yang sering diajukan