Quão precisa é a tradução por IA? Do que a resposta realmente depende

A resposta curta

A tradução por IA é confiável para pegar a ideia geral de um texto em outro idioma e para produzir um primeiro rascunho que uma pessoa vai reescrever. Não é confiável onde um único matiz errado tem consequências: contratos, instruções médicas, divulgações financeiras, documentos judiciais, qualquer coisa que você publique com o seu nome. Essa divisão não é um buraco temporário que o próximo lançamento de modelo fecha. Ela decorre de como esses sistemas decidem o que devolver, o que prevê bem em que eles são bons e onde falham sem avisar.

Entre esses dois polos, três variáveis fazem quase todo o trabalho:

• O par de idiomas. Inglês para espanhol e inglês para um idioma com pouco texto digitalizado não são a mesma tecnologia operando no mesmo nível.
• O tipo de texto. Prosa factual simples traduz bem. Expressões idiomáticas, tratamento formal, trocadilhos e frases cujo significado depende de frases anteriores traduzem mal, de maneiras previsíveis.
• O contexto que o sistema consegue ver. Um sistema que traduz um parágrafo por vez não consegue manter a terminologia nem os níveis de formalidade consistentes ao longo de um documento. Nenhuma configuração resolve isso; está embutido na arquitetura.
• Você vai ver porcentagens de precisão citadas pela web. Trate todas com suspeita, inclusive qualquer uma que você esperasse que esta página publicasse para a ferramenta abaixo, porque nada neste site mede precisão de tradução, e as métricas de avaliação publicadas também não medem o que a palavra “precisão” sugere.

Por que ninguém pode citar honestamente um número de precisão

A tradução automática é avaliada com métricas automáticas, a mais conhecida sendo BLEU e suas descendentes. Entender o que essas métricas de fato calculam é o caminho mais rápido para ver por que uma única cifra de precisão, para qualquer sistema, estaria te enganando.

O que as métricas tipo BLEU medem de verdade

BLEU pontua uma tradução automática contando quantas sequências curtas de palavras nela, normalmente trechos de até quatro palavras consecutivas, aparecem também em uma ou mais traduções humanas de referência do mesmo original. Uma pontuação alta significa que a saída se parece com a redação humana média daquele texto. Não significa que o sentido sobreviveu. A métrica compara fragmentos de palavras com fragmentos de palavras; nada no processo verifica se a tradução afirma o que o original afirmava.

Por que uma pontuação alta não significa uma tradução segura

Dois tradutores fluentes podem verter a mesma frase com palavras completamente diferentes, e uma métrica automática só recompensa a que estiver mais perto de suas referências. Uma tradução que mantém quase toda palavra de conteúdo numa ordem mais ou menos correta ainda pode inverter uma negação, e a pontuação mal vai notar, porque a negação são duas palavras dentro de uma comparação de fragmentos. Em idiomas com dados de treinamento escassos, uma tradução correta pode pontuar péssimo simplesmente porque não existe texto de referência com aquela redação para comparar. Então a métrica fala de semelhança, nunca se a sua frase específica é segura para mandar ao seu advogado específico. É por isso que este guia não declara porcentagem sobre ninguém nem atribui pontuação de avaliação à ferramenta linkada abaixo.

Eixo um: o par de idiomas

Os sistemas neurais modernos de tradução são aprendizes de padrão. São treinados com texto paralelo: coleções enormes de documentos emparelhados com suas traduções humanas, coletados de material publicado, legendas, registros institucionais e a web. Sua competência para verter uma construção é função direta de quantas vezes viram aquela construção ser traduzida durante o treinamento. Só esse fato explica o vão de qualidade mais largo da tradução automática.

Pares com muitos recursos se comportam como especialistas

Os principais pares de idiomas europeus com inglês, como inglês para espanhol, francês, alemão ou holandês, estão assentados sobre décadas de texto paralelo digitalizado. O modelo viu milhões de exemplos resolvidos de como cada construção nessa direção deve ser vertida, incluídos seus modismos e seu registro formal. A qualidade em prosa simples nesses pares é genuinamente alta, e é desse nível que as pessoas falam quando dizem que a tradução automática ficou boa.

Pares com poucos recursos se comportam como apostadores

Idiomas com pouco texto digitalizado, sejam línguas regionais da África e do Sudeste Asiático, línguas indígenas das Américas ou línguas europeias menores com presença limitada na web, são uma situação completamente diferente. O modelo viu pouco ou nada do idioma durante o treinamento e agora generaliza por analogia a partir de línguas que viu. A saída nesses pares pode estar errada em silêncio: gramatical, plausível e imprecisa, que é o único modo de falha para o qual você não pode se planejar.

Por que modelos multilíngues são mais fortes exatamente onde estão os dados

Um modelo que cobre dezenas de idiomas divide uma capacidade fixa entre todos eles, e a divisão segue os dados, não a justiça. Um modelo multilíngue compartilhado também pode se apoiar em representações internas parecidas com inglês como ponte para os pares que ele maneja mal, então uma tradução entre dois idiomas que não são inglês pode, na prática, dar uma volta por um terceiro e herdar erros da travessia. É por isso que existem sistemas feitos para um par específico: os generalistas concentram sua competência onde os dados de treinamento eram mais densos, e esse é exatamente o lugar onde eles menos fazem falta.

Eixo dois: o tipo de texto e como cada classe de escrita falha

Escolha um par de idiomas de primeira linha e a qualidade ainda depende do que você coloca. Prosa factual com vocabulário comum sobrevive à tradução quase intacta. As classes abaixo sobrevivem mal, de formas previsíveis, e saber a qual classe o seu texto pertence é o teste de precisão mais útil que você tem. Cada falha abaixo vem com o que ela produz na saída.

Expressões idiomáticas e fórmulas prontas

Uma expressão idiomática significa algo que suas palavras não significam: “kick the bucket” é sobre morrer, não sobre um balde. Entre pares muito traduzidos o mapeamento é aprendido, e a saída usa a expressão equivalente do próprio idioma de destino. Para idiotismos menos comuns, regionais ou gíria de setor, o sistema verte as palavras e o leitor recebe uma frase que fecha gramaticalmente mas não significa nada. O sinal é uma saída que de repente menciona objetos literais onde o original não mencionava nenhum.

Registro e formalidade

Muitos idiomas codificam a distância social gramaticalmente. Francês e alemão têm uma segunda pessoa familiar e uma formal; uma formal; coreano e japonês incorporam a cortesia na própria terminação verbal, com formas diferentes para falar com um amigo, um cliente ou alguém mais velho. O inglês não carrega essa informação, então o sistema tem que inferi-la só pelo tom, e uma inferência pode sair errada ou sair diferente no parágrafo seguinte. Uma carta comercial que mistura tratamentos soa inconsistente no melhor caso e rude no pior, e o texto original nunca te avisou.

Ambiguidade que a própria frase não resolve

“The bank is closed” significa coisas diferentes dependendo de qual banco, e a resposta normalmente mora no parágrafo anterior. Pronomes são piores: quando um grupo discutiu com outro “because they were late”, a palavra “they” é resolvida pelo conhecimento de mundo e pelo contexto prévio. Um modelo precisa escolher uma leitura, escolhe com confiança, e a saída não traz nenhuma marca de que o original era ambíguo. A fluidez esconde a cara ou coroa.

Terminologia

A escrita técnica, jurídica e corporativa exige que um conceito mantenha um único rótulo do começo ao fim: o nome de um produto, um termo contratual definido, o sentido jurídico específico de uma palavra comum como “consideration”. Um sistema que decide frase por frase escolhe o sentido estatisticamente comum e depois varia sinônimos de parágrafo em parágrafo, então um único conceito aparece sob três palavras diferentes num mesmo documento. Os revisores gastam o tempo conciliando vocabulário em vez de checar o sentido.

Números, datas e unidades

A pontuação que carrega sentido é uma vítima clássica. Os sinais numéricos num valor como 1.234,56 significam milhar e decimal em boa parte da Europa e o contrário em inglês, e um sistema que traduz entre essas convenções pode converter o formato, preservá-lo ou aplicá-lo de maneira inconsistente dentro de um mesmo documento. Datas escritas 03/04 são março ou abril dependendo da convenção. E “billion” é mil milhões no uso americano atual, mas um milhão de milhões no uso europeu da escala longa. Todos esses erros parecem perfeitamente bem formados, e é exatamente assim que sobrevivem a uma leitura de conferência.

Negação e escopo

A negação tem poucas palavras e todo o poder semântico. “No significant difference” vertido sem o seu pequeno negativo afirma o contrário do original. A ambiguidade de escopo é mais sutil: “I did not go because I was tired” tem duas leituras, a recusa de ir e a razão negada, e “not all of the tests passed” pode chegar como “none of the tests passed”. Como esses sistemas são recompensados por produzir texto fluido, um negativo perdido ou deslocado é alisado em vez de exposto.

Humor e trocadilhos

Um trocadilho é uma palavra fazendo dois trabalhos ao mesmo tempo num idioma. A tradução precisa ou escolher um dos trabalhos, e a piada morre sem cerimônia, ou inventar uma piada diferente no idioma de destino, e você acabou de publicar o humor de outra pessoa. Os sistemas tomam quase sempre o primeiro caminho: chega o sentido literal, não chega a intenção, e o leitor nunca fica sabendo que havia uma piada ali.

Eixo três: quanto contexto o sistema consegue ver

Um modelo de tradução não lê o seu documento como você. Ele lê o texto que recebe numa única chamada, até um tamanho fixo chamado janela de contexto, e tudo o que está fora dessa janela simplesmente não existe para efeito daquela saída. Dois sistemas com pesos idênticos podem traduzir de forma diferente a mesma página porque um recebeu o parágrafo anterior e o outro não.

O que o contexto em nível de documento te dá

Quando o documento inteiro está visível, o sistema leva as decisões adiante: o termo que você estabeleceu na página um continua o mesmo termo na página dez, o tratamento formal com que você abriu nunca escorrega para o informal, e um pronome na página três ainda pode apontar para a pessoa apresentada na página um. Quando só o recorte atual está visível, cada uma dessas decisões é tomada do zero, a partir de evidência local, e às vezes discorda da anterior.

Por que parágrafo por parágrafo é um limite de arquitetura, não uma configuração

Uma parcela importante das ferramentas de tradução gratuitas, incluindo a que está linkada no fim desta página, divide sua entrada nas linhas em branco e traduz cada parágrafo independentemente. Essa é a pergunta do contexto respondida no nível do design do software: consistência entre parágrafos não é algo que essa arquitetura possa oferecer, por melhor que seja o modelo embaixo. Se terminologia e tratamento precisam ficar idêntios num documento longo, você precisa de um sistema cuja unidade de tradução seja o documento, ou de um humano, e nenhuma das duas coisas pode ser acoplada depois a um motor que traduz parágrafo por parágrafo.

Para que a tradução por IA serve com confiabilidade

Quando você já conhece os três eixos, os usos confiáveis são fáceis de nomear, e valem a pena ser levados a sério: milhões de pessoas usam bem a tradução automática todos os dias sem nunca pagar por um profissional, porque essas tarefas perdoam exatamente os erros que esses sistemas cometem.

• Pegar a ideia. Ler notícias, páginas de produto, documentação ou tópicos de suporte em outro idioma para entender. Você absorve o conteúdo; ninguém age com base na sua leitura.
• Rascunhar texto de saída. Escrever um e-mail grosseiro num idioma que você não domina, com o acordo explícito de que alguém que domina conserta antes de enviar.
• Triagem em volume. Separar centenas de mensagens recebidas por assunto para que humanos só toquem nas que importam, onde uma leitura em grande parte certa vence nenhuma leitura.
• Prosa factual simples num par com muitos recursos. Instruções escritas para máquinas, inventários, descrições diretas: frases declarativas curtas com vocabulário concreto são o ponto ideal dessa tecnologia.
• Qualquer um dos acima se você aceitar mais uma regra: números, datas, nomes e negativas são verificados a olho mesmo quando você só quer entender, porque são os erros que sobrevivem a uma saída fluida.

Onde um matiz errado tem consequências

A fronteira honesta não é qualidade, é o que está em jogo. Nestes domínios a saída automática é no máximo um ponto de partida e nunca um texto final:

• Jurídico e contratual. “Shall” versus “may”, o alcance de uma cláusula de responsabilidade, uma condição versus um pacto. Contratos falham exatamente nas palavras pequenas que são alisadas, e a página linkada diz o mesmo no seu próprio bloco “Quando não usar esta ferramenta”.
• Médico. Dosagens, horários, contraindicações e instruções negadas. Um negativo perdido numa instrução de paciente não é um erro constrangedor, é um erro perigoso, e nos dois casos a frase se lê com fluidez.
• Financeiro. Valores, unidades, palavras de escala como “billion” e convenções de data, que são os formatos numéricos sobre os quais está documentado que essa tecnologia erra.
• Texto publicado. Qualquer coisa sob o seu nome ou o logo da sua empresa: textos de marketing, comunicados, documentação que você assina. Os artefatos de máquina em texto publicado são lidos por nativos como um sinal sobre você.
• Acordos transfronteiriços de qualquer tipo entre partes em que cada uma assume que a outra concordou com o que diz a versão no seu próprio idioma.

Por que a revisão humana muda o quadro

Um tradutor profissional não faz com mais esforço o que o modelo faz. Ele lê em busca das consequências que você listou acima, resolve as ambiguidades de propósito em vez de por preferência estatística, pergunta a você o que a frase ambígua queria dizer e responde pelo resultado. A combinação que funciona na prática é rascunho automático mais revisão humana: o modelo absorve a página em branco, o humano absorve a responsabilidade. O que não funciona é tratar saída fluida como saída verificada, porque a fluidez é exatamente o que esconde os erros das classes acima.

Como conferir uma tradução que não pode sair errada

Se você está decidindo se uma tradução por IA é segura de usar, passe-a por estas conferências antes de decidir qualquer outra coisa. Elas miram as classes de falha específicas acima, na ordem em que os revisores aprenderam a confiar.

• Retraduza. Passe a saída por uma segunda rodada para o idioma de origem e leia. Onde o sentido deslizou, a segunda versão desliza também, e o deslize fica de repente visível.
• Leia cada número, data e unidade contra o original, caractere por caractere. São os trinta segundos de maior rendimento que existem.
• Caçe as negativas. Encontre cada “no”, “not”, “never”, “unless” e “without” nos dois idiomas e confirme que cada um corresponde ao seu equivalente. Negação ausente ou mal colocada é o erro com as maiores consequências e a pegada menos visível.
• Confira os termos. Escolha suas cinco palavras mais importantes do domínio, busque na saída cada conceito e conte quantas palavras diferentes o sistema usou para ele.
• Confira o tratamento. Em francês, alemão, coreano, japonês e idiomas parecidos, confirme o mesmo nível de formalidade do primeiro parágrafo ao último.
• Peça a um nativo para ler apenas procurando o estranho. Ele leva minutos para apontar a frase que é gramatical mas está errada, e você não pode pedir a um revisor monolíngue uma pergunta que você também não percebeu.

A ferramenta linkada: o que este tradutor realmente é

A ferramenta para a qual este guia aponta é um tradutor que roda no navegador, e os três eixos acima são exatamente o quadro certo para julgá-lo, porque o design dele responde a cada um com fatos específicos e conferíveis.

A página oferece 67 idiomas, e qualquer idioma pode ir para qualquer outro: com 67 opções, há 67 × 66 = 4,422 pares ordenados possíveis. Oito desses pares são especiais: inglês para e de espanhol, alemão, holandês e indonésio, que são quatro direções de idioma em cada sentido, 4 × 2 = 8, atendidas por modelos pequenos de tradução Opus construídos para essas direções específicas. Toda outra combinação, 4,422 menos 8 = 4,414 delas, roda sobre um único modelo multilíngue compartilhado: NLLB-200, na sua forma destilada de 600 milhões de parâmetros.

Essa palavra, “destilado”, é o fato de maior relevância sobre a qualidade desta ferramenta. Um modelo destilado é um aluno comprimido treinado para imitar um professor maior: você recebe um modelo pequeno o bastante para ser baixado num navegador e rodar no seu dispositivo, e o preço típico é a precisão em relação ao modelo professor de que foi espremido. E é um único modelo fixo servindo todas as combinações de idiomas para as quais a página não tem um motor dedicado, incluindo os pares com poucos recursos: os mesmos 600 milhões de parâmetros para as 4,414 rotas, que é a divisão de capacidade do eixo um, ao vivo.

O outro fato de arquitetura é o eixo do contexto: o texto é traduzido parágrafo por parágrafo, em que os parágrafos são separados por linhas em branco, e cada parágrafo é traduzido independentemente dos outros. O problema de consistência entre parágrafos do eixo três é, portanto, uma propriedade real desta página, não uma ressalva teórica: terminologia e tratamento podem derivar e vão derivar ao longo de um documento longo, e não há nesta página nenhum glossário ou controle de terminologia que contrabalançe isso.

• Roda inteiramente no seu navegador: a tradução acontece no seu dispositivo e o seu texto não é enviado a nenhum servidor.
• Os pesos do modelo são baixados na primeira vez que você traduz, e o seu navegador os reutiliza nas visitas seguintes em vez de baixá-los de novo.
• Os motores dedicados cobrem oito direções: inglês em dois sentidos com espanhol, alemão, holandês e indonésio; cada um dos outros 4,414 pares ordenados restantes roda no modelo NLLB destilado compartilhado.
• Tradução parágrafo por parágrafo, independentemente por parágrafo; sem contexto em nível de documento, sem glossário e sem controle de terminologia.
• Nenhum limite rígido de entrada é imposto no código, e como cada parágrafo é processado no seu próprio dispositivo, um documento muito longo fica limitado pelo seu hardware e pela sua paciência, não por uma cota.

O fundo honesto

“Quão precisa é a tradução por IA” é a pergunta errada, e a versão melhor vale memorizar: precisa para qual par, com qual texto, dado quanto contexto o sistema consegue ver. Par com muitos recursos, prosa simples, documento inteiro visível: quase pronto como rascunho. Mesmo par, idiotismos e negativas e um motor parágrafo por parágrafo: errado com confiança em lugares que você não vê. Par com poucos recursos num modelo generalista compartilhado: absurdo fluente é o risco que você está aceitando.

Use a tradução automática à vontade para entender e para primeiros rascunhos. Recuse-a como palavra final onde um matiz errado custa dinheiro, saúde, responsabilidade ou reputação, e confira números, datas, nomes e negativas com os seus próprios olhos mesmo quando confia nela. Precisão é uma propriedade do seu texto específico no seu sistema específico, não um número da tecnologia, e toda afirmação que você encontrar dizendo um deve ser lida como marketing, não como medição.

Perguntas frequentes