Como funciona o reconhecimento de imagens?

A resposta curta

Um reconhecedor de imagens moderno é uma pilha de camadas de conta numérica que transforma uma foto em uma lista ordenada de nomes. Você o alimenta com pixels. As primeiras camadas notam coisas simples como bordas e transições de cor, as camadas do meio montam disso texturas e partes, e as camadas profundas combinam partes em evidência de objetos inteiros. A última camada emite uma pontuação para cada categoria que o modelo conhece, e o rótulo com a pontuação mais alta é a resposta que você vê.

Duas propriedades dessa máquina explicam quase tudo o que nela é surpreendente. Primeira: ninguém escreveu regras dizendo o que é um cachorro. Ele ajustou números internos até seus palpites coincidirem com rótulos que humanos haviam dado a milhões de fotos de exemplo, então é um mecanismo de correspondência de padrões em dados, não um programa com definições. Segunda: seu vocabulário foi congelado no dia em que o treino terminou. Ele não consegue nomear uma coisa que não está na lista, e não tem nenhuma saída para 'não está na minha lista', então entrega o nome disponível mais próximo.

• A classificação responde a uma única pergunta: das categorias que conheço, qual combina melhor com esta imagem?
• A detecção responde a outra: onde cada coisa está na foto, como uma caixa.
• A segmentação responde a uma terceira: quais pixels individuais pertencem a qual coisa.
• Uma pontuação de confiança ordena uma lista fixa de rótulos. Não é uma porcentagem de chance de estar certa.
• Modelos pequenos rodam em celulares e em abas do navegador, então uma foto nunca precisa sair do dispositivo.

De pixels a partes e de partes a objetos

Comece com o que o modelo recebe. Para um computador, uma imagem é uma grade de números, uma leitura de brilho por pixel por canal de cor. A ferramenta no fim desta página trabalha sobre uma grade quadrada de 224 × 224, ou seja, 50,176 pixels, e com três canais de cor são 150,528 números de entrada. O que quer que você fotografa é redimensionado para essa forma primeiro, um passo com perdas que as pessoas raramente notam e que muda os resultados.

O modelo então aplica camada após camada de pequenos filtros. Cada filtro é uma janelinha de números que desliza pela imagem e informa com que força um padrão local está presente. Isolados, são trivialmente simples; é a profundidade que os torna úteis. A camada um encontra bordas, cantos e fronteiras de cor. A camada dois vê bordas organizadas em curvas e texturas repetidas. As camadas mais profundas veem olhos, rodas, batentes de porta, o ponto onde o pelo encontra a coleira. Até as últimas camadas, as ativações correspondem a evidência de objetos inteiros, construída a partir de combinações do que as camadas anteriores detectaram.

O último estágio colapsa tudo isso na lista de rótulos. Cada categoria conhecida recebe um número, e os números são normalizados para somar um em todo o vocabulário. Como ordenação isso é informativo: esta foto se parece muito mais com um retriever do que com uma torradeira. Como probabilidade de que um objeto real esteja presente, é muito mais fraco, e esse é todo o tema da quinta seção.

Deixe claro o que não está acontecendo. Não há nenhuma etapa em que o modelo compara sua foto com uma biblioteca de fotos guardadas, nem um dicionário de definições dentro dele. Duas fotos do mesmo cachorro ativam a mesma rota pela rede porque carregam as mesmas regularidades, não porque o modelo se lembra de alguma delas.

Aprendido com exemplos, não com regras escritas

Por décadas a abordagem óbvia era escrever as regras à mão: se o objeto é redondo e laranja, é uma bola. Esse programa desabou porque fotografias não cooperam. A mesma bola aparece em quarenta ângulos, sob seis condições de luz, meio escondida atrás de uma cadeira, borrada pelo movimento. Codificar essa variabilidade como lógica é impossível.

A abordagem que o substituiu inverte a direção do trabalho. Você fornece imagens com rótulos humanos anexados, mais um modelo cujos pesos começam como ruído. O modelo dá palpites, uma métrica pontua quanto ele errou, e um otimizador empurra cada peso na direção que teria reduzido o erro. Repita sobre milhões de imagens e muitas passadas. Ninguém especifica como é um cachorro; o conceito de cachorro acaba distribuído pelos pesos como efeito colateral do ajuste.

Essa escolha compra generalidade e custa três coisas que valem lembrar. Seu modelo só consegue reconhecer categorias representadas nos rótulos de treino. Ele herda a distorção do conjunto de dados, porque é um resumo daquele conjunto. E pode estar confiantemente errado de formas que um sistema de regras não estaria, porque nunca fica sem padrões para casar.

O treino também fixa o vocabulário permanentemente. Adicionar uma categoria muda o formato da última camada, o que invalida os pesos abaixo dela, o que significa retreinar incluindo exemplos da nova classe.

Um último detalhe surpreende as pessoas: o modelo entregue ao seu dispositivo não é o modelo que foi treinado. O treino roda em precisão numérica cheia para que os empurrões continuem significativos. Na implantação, os pesos normalmente são quantizados, guardados como um byte cada em vez dos quatro bytes que um número de precisão cheia exige. Isso é uma mudança de formato de armazenamento na mesma rede, e é o que torna um modelo pequeno o bastante para uma aba do navegador, ao preço de um pouco de resolução nos números de saída.

Três perguntas que todas chamam de reconhecimento

As pessoas usam reconhecimento de imagens como um único rótulo para três tarefas com saídas diferentes e dificuldades diferentes. Confundi-las causa a maior parte da decepção nesse campo, porque um sistema que manda bem numa geralmente não consegue fazer as outras.

Classificação: o que é esta foto?

A classificação recebe a imagem inteira e devolve um rótulo, ou um punhado ordenado. Não há posição na saída. Ela responde muito bem a 'isto é uma foto de um gato?' e não responde nada a 'onde está o gato?'.

É a que melhor desce de escala, e por isso é a tarefa que roda em celulares e em demos de navegador. Ela também assume em silêncio um assunto dominante: dê a um classificador cinco coisas sem relação e você recebe uma briga resolvida em um ou dois rótulos, com o resto descartado.

Detecção: onde está cada coisa?

A detecção devolve um conjunto de resultados, cada um uma categoria mais um retângulo: vários objetos, vários rótulos, posições incluídas. Conjuntos de dados públicos de detecção cobrem algo entre algumas dezenas de categorias correntes e alguns milhares, cada um um vocabulário fixo exatamente como na classificação.

A detecção normalmente é construída sobre uma espinha dorsal de classificação, e então um estágio que propõe regiões candidatas e rotula cada uma. Esse estágio extra é o motivo de os detectores serem maiores e mais lentos, e de os modelos pequenos que cabem numa aba serem em geral classificadores.

Segmentação: quais pixels pertencem a quê?

A segmentação produz uma máscara, atribuindo cada pixel a uma classe. Na sua forma mais simples é uma sobreposição codificada por cor que não separa dois cachorros encostados um no outro; a segmentação de instâncias vai além e os divide como objetos individuais.

É a mais cara das três, porque a rede responde por cada pixel em vez de pela imagem ou por uma caixa. É o que você precisa quando a tarefa mede algo, como contar células numa lâmina ou separar estrada de calçada. Uma caixa é um palpite sobre a localização; uma máscara é uma afirmação sobre a forma.

A parte que todos entendem errado: uma pontuação ordena uma lista fixa

Se você levar uma única coisa deste guia, leve esta. Os números que saem de um classificador são uma ordenação sobre um conjunto fechado de nomes que o modelo teve permissão de aprender, e nada além disso. Quase todo erro que as pessoas cometem com esses sistemas vem de esquecer isso.

O vocabulário é decidido durante o treino e nunca muda quando o modelo roda. Um modelo treinado em mil categorias correntes pode emitir um entre exatamente mil rótulos para a sua foto, sempre, e mostrar os cinco principais esconde os outros novecentos e noventa e cinco. Não há vaga para uma resposta fora da lista e, crucialmente, nenhuma vaga para 'nenhum dos anteriores'.

Então o que acontece quando você fotografa algo para o que a lista não tem nome? O modelo não dá de ombros. Ele aplica seus pesos, algum rótulo antigo por acaso combina melhor com a textura ou a cor do que os demais, e você recebe uma resposta. Uma foto de um crachá de acesso de escritório pode voltar como 'envelope'. Um prato de uma culinária quase não coberta pode voltar como 'tigela de sopa'. Nenhuma das duas é alucinação no sentido dramático: é o nome disponível mais próximo, que é tudo o que a arquitetura oferece.

A outra metade do mal-entendido é o número em si. Porque os mil rótulos disputam um total de um, a pontuação da vencedora depende de quais rótulos foram suas rivais. Duas raças aparentadas dividem a mesma evidência, então cada uma recebe um número menor do que receberia se a outra estivesse ausente. Uma pontuação de 0.55 numa tarefa de granularidade fina não é a mesma afirmação que 0.55 entre mil classes muito diferentes, e nenhum desses números é a probabilidade de o objeto existir.

Então leia o formato da distribuição em vez de confiar no titular. Um rótulo bem à frente significa que a foto combina com algo que o modelo conhece bem. Cinco rótulos agrupados significam que ele está decidindo entre quase iguais, o que muitas vezes significa que a resposta verdadeira está ausente e ele está escolhendo entre as três mais próximas.

• Uma pontuação compara dentro de um vocabulário fixo; ela não mede quão certo é o mundo.
• O modelo não consegue emitir um nome com que nunca foi treinado, seja o que for que mostrem a ele.
• Não existe classe 'desconhecido' a menos que alguém a tenha incluído de propósito.
• Um top-5 plano e agrupado é em si um sinal: isto não está claramente no meu vocabulário.
• Um líder mal à frente de um quinto rótulo de significado diferente é o mais parecido com dar de ombros.

Onde ele erra

Um modelo treinado é um resumo estatístico dos seus dados, então ele erra em padrões, não ao acaso. Cinco desses padrões explicam a maior parte do que você vê fora de um artigo de pesquisa.

Viés do conjunto de treino

No que o conjunto de dados é cheio, nisso o modelo fica bom. Coleções públicas de imagens sobrerrepresentam certos países, estilos de câmera, objetos e contextos, e a competência segue essa distribuição como uma sombra. Categorias que aparecem raramente, ou quase sempre num cenário, são reconhecidas só naquele cenário. Pessoas vão pior aqui: um sistema treinado numa população desequilibrada se sai melhor no grupo que mais viu, o que é uma propriedade dos dados, não das pessoas.

Atalhos de cena em vez do objeto

Um modelo treinado em fotos de cachorros em gramados aprende que grama é uma forte pista de cachorro. Mova o cachorro para uma cozinha e a pontuação cai. Coloque uma almofada em formato de cachorro na grama e ela sobe. Esse é o jeito mais confiável de expor um classificador: mude o contexto, deixe o assunto em paz, observe a resposta se mexer. O modelo usa toda correlação que os dados ofereceram, e não consegue dizer qual evidência importa.

Ângulos estranhos, cortes apertados e enquadramentos incomuns

A maior parte das fotos de treino mostra o assunto centrado, na vertical e em grande parte visível. Uma tomada diretamente de cima, um close extremo de um componente, uma imagem girada ou muito recortada — tudo isso empurra a entrada para longe daquilo para o que os pesos foram afinados. Recortar é duplamente traiçoeiro: pode apagar o contexto em que o modelo se apoiava, ou deixar só o contexto e apagar o assunto.

Baixa resolução e compressão pesada

O detalhe carrega a diferença entre categorias parecidas, e o detalhe é a primeira coisa perdida. Encolha uma foto para a grade de entrada do modelo e um assunto pequeno pode acabar com menos pixels que as suas próprias bordas, momento em que o modelo está casando manchas de cor. A compressão acrescenta textura que nunca esteve nos dados de treino, então um modelo pode parecer excelente em originais de câmera e não confiável em miniaturas.

A lacuna entre top-1 e top-5

Top-1 conta um resultado como correto só se o primeiro rótulo em si acertar. Top-5 o conta como correto se a verdade aparecer em qualquer lugar dos primeiros cinco. A lacuna entre eles é um diagnóstico: ela aumenta justamente quando o modelo acerta o tipo geral da coisa mas não consegue fixar qual. Um único número reportado calculado como top-5 é a versão mais lisonjeira.

O reconhecimento facial são três sistemas diferentes

Perguntar como funciona o reconhecimento facial é fazer uma pergunta com três respostas. São tarefas diferentes com dificuldades diferentes, modos de falha diferentes e consequências diferentes para as pessoas envolvidas. Um classificador de imagens não tem opinião sobre quem você é, e a razão é estrutural, não um recurso que falta.

Detecção de rostos: há um rosto, e onde

A mais fácil das três, e o que a maioria dos produtos que se chamam de reconhecimento facial de fato faz. A saída é uma contagem e alguns retângulos, às vezes pontos de referência dos olhos, do nariz e da boca. Nenhuma identidade está envolvida. Um detector diz tranquilamente 'há três rostos aqui' e não faz ideia se são estranhos ou irmãos.

Verificação facial: é a mesma pessoa

Uma comparação um para um. Você se cadastra uma vez, o sistema guarda um modelo numérico construído a partir do seu rosto, e depois responde uma pergunta estreita: este rosto novo corresponde àquele modelo guardado? Essa é a forma do problema que o desbloqueio do celular resolve, e é mais fácil que a identificação porque a comparação é contra uma única referência conhecida em vez de uma multidão. A verificação tem dois tipos de erro, aceitar um impostor e rejeitar o dono real, e seu ponto de operação é um compromisso escolhido, não uma habilidade fixa.

Identificação facial: quem é esta, entre todos

Uma busca de um para muitos: pegue um rosto desconhecido e encontre a melhor correspondência entre candidatos, o difícil problema de conjunto aberto. Precisa funcionar para pessoas que nunca se cadastraram, sob qualquer pose, luz e idade que a câmera pegou, contra uma galeria que não para de crescer. Suas taxas de erro sobem com o tamanho dessa galeria, ela herda todos os vieses dela, e tem as piores consequências quando erra, porque uma resposta errada nomeia uma pessoa inocente. Diferente da verificação, a identificação pode rodar sem o consentimento da pessoa.

O que um celular realmente faz, e a pegadinha

O desbloqueio num celular moderno é verificação, não identificação, e a arquitetura reflete isso. Durante a configuração a câmera olha o seu rosto e constrói um modelo numérico no dispositivo: uma codificação numérica derivada da forma que você apresentou. A comparação posterior confere o quadro ao vivo contra aquela referência guardada localmente. Nada do seu rosto é enviado a lugar nenhum para fazer a comparação, e não há um servidor com uma galeria de rostos de outras pessoas para o celular buscar. Manter o cadastro e a comparação no dispositivo é um design genuinamente diferente de procurar o seu rosto num banco de dados.

A maioria dos celulares também deixa de tratar a entrada como uma fotografia colorida comum. Informação de profundidade, obtida projetando e medindo um padrão de luz, faz o sistema conferir o formato de um rosto em vez de uma foto dele, e é isso que torna uma fotografia impressa um substituto ruim. Os mecanismos diferem entre dispositivos, então este guia não faz afirmações sobre modelos específicos.

A pegadinha é sobre o que é um dado biométrico. Uma senha é um segredo que você escolheu; sua segurança vem de ninguém mais saber dela e de você poder trocá-la no momento em que suspeita que vazou. Um rosto não é um segredo. Você o exibe o tempo todo, imagens nítidas dele existem nos servidores de outras pessoas, e ele é compartilhado com qualquer um que se pareça com você. Se um modelo facial é comprometido, você não pode reemitir o seu rosto. Você apaga o cadastro e configura de novo, e o que está sendo medido continua público.

Então o enquadramento honesto do desbloqueio facial é conveniência com uma barreira real, não um cofre. A alternativa de código após uma reinicialização ou tentativas malsucedidas existe por isso, e o código é a parte que se comporta como um segredo. A biometria desencoraja uma tentativa casual de alguém que não conhece você bem; um segredo memorizado é o que protege contra mais.

Onde o reconhecimento de imagens mostra a que veio

Deixe o marketing de lado e as implementações que consistentemente se pagam compartilham uma característica: elas separam um volume avassalador de imagens num conjunto fixo de caixas mais rápido que qualquer equipe humana, e elas roteam trabalho em vez de finalizá-lo.

• Bibliotecas de fotos: encontrar fotos do seu cachorro ou da sua pilha de recibos sem etiquetar nada à mão.
• Documentos: reconhecer que uma página é um recibo, um cartão de visita ou uma fatura, endireitá-la e enviar os campos para o formulário certo.
• Acessibilidade: descrever em voz alta o conteúdo de uma cena e escrever texto alternativo para que uma foto não seja um beco sem saída para um leitor de tela.
• Varejo e logística: contar o estoque numa prateleira, sinalizar um item fora do lugar, ler para onde um pacote deve ir.
• Saúde como assistente: destacar uma região de um raio X ou de uma lâmina para um médico revisar, com o humano tomando a decisão.
• Moderação de plataformas: detectar conteúdo proibido em envios num volume que nenhuma equipe leria à mão, com humanos nos casos ambiguos.
• Separação física: fruta numa esteira, recicláveis numa correia, espécies invasoras numa câmera-armadilha, em que as categorias são conhecidas e a vazão não.

Experimentando aqui: o que esta demo faz e não faz

A ferramenta linkada é uma demonstração deliberadamente pequena do fluxo acima. Ela roda um modelo de visão compacto projetado para dispositivos móveis, guardado em forma quantizada, inteiramente dentro da sua aba do navegador. Sua imagem é redimensionada para as dimensões de entrada do modelo, empurrada pela rede, e você recebe os cinco principais rótulos com suas pontuações, extraídos de um conjunto fixo de cerca de mil categorias correntes do ImageNet. Nada é enviado: os pixels ficam locais e apenas os pesos treinados são buscados.

Esse escopo traz limites, e são aqueles de que este guia tratou, e não uma desvantagem acrescentada de propósito. É classificação de imagem inteira apenas, então não há caixas delimitadoras, nem regiões, nem respostas por objeto; um detector é outra ferramenta. Ele não faz reconhecimento facial de tipo algum nem identificação de pessoas, então não consegue dizer de quem é o rosto numa foto. Você não pode adicionar categorias: o conjunto de rótulos é fixado pelo treino, e ampliá-lo significa retreinar. Não há busca de similaridade nem busca reversa de imagens, então ele não vai encontrar fotos visualmente comparáveis.

Espere também os modos de falha. Porque a imagem é redimensionada para o tamanho de entrada do modelo, o detalhe fino é genuinamente perdido, então objetos pequenos e entradas de baixa resolução recebem menos evidência com que trabalhar. Existe uma explicação curta para algumas classes e o resto cai numa frase genérica, então não leia as notas como uma base de conhecimento por categoria. E porque o vocabulário é mil categorias correntes, objetos incomuns devolvem um nome próximo e plausível em vez de uma confissão de ignorância.

A parte interessante é observar as pontuações se comportarem. Fotografe um animal comum com nitidez e observe a distribuição com um pico. Tente o mesmo assunto de cima, ou recortado até um fragmento, e veja a ordenação se mexer. Tente algo sem nome na lista e veja a que rótulo ele chega. Depois mostre várias coisas sem relação e observe um assunto vencer.

No primeiro uso os pesos são baixados, e depois seu navegador os reutiliza, então você não está buscando o modelo a cada visita. A imagem em si nunca sai da sua máquina.

Perguntas frequentes