Como funciona a detecção de objetos?

Detectar não é classificar

Comece pelo que um classificador de imagens faz. Você entrega uma foto, ele olha a imagem inteira e devolve uma única resposta: isto é um gato, ou uma praia, ou uma placa. Uma imagem entra, um rótulo sai. Mesmo quando ele mostra as cinco principais possibilidades, as cinco estão competindo para descrever a foto inteira. Ao classificador é feita uma pergunta sobre a imagem como um todo.

Ao detector é feita outra coisa: para cada objeto desta foto, o que é e onde está. A saída não é um rótulo, mas uma lista de detecções, e cada entrada combina uma classe com uma localização — geralmente um retângulo — e uma pontuação. É por isso que a detecção pode devolver zero entradas para um céu limpo, uma para um único cachorro e uma dúzia para uma rua movimentada. Detectar não apenas nomeia os objetos; ele aponta para eles.

Esse “onde” extra é toda a dificuldade. A classificação pode jogar fora o layout: redimensionar a imagem, ignorar as bordas, se importar só com o conteúdo geral. A detecção não pode. Um detector tem que responder “o que” e “onde” ao mesmo tempo, e tem que fazer isso para um número desconhecido de objetos que podem se sobrepor, ficar em qualquer escala ou aparecer em qualquer posição. Todo o resto neste guia — as duas famílias, as caixas redundantes, os limiares, os modos de falha — é consequência de exigir uma localização além de um nome.

Um ponto para guardar, porque explica muitas surpresas depois: a saída de um detector está ligada aos objetos, não às categorias. Um classificador sempre diz alguma coisa, porque “o que é esta foto” sempre tem resposta. Um detector pode honestamente não dizer nada, porque “onde estão os cachorros” pode não ter localizações para devolver. A detecção falha por silêncio. A classificação falha por estar errada.

• Saída do classificador: um rótulo para a imagem inteira.
• Saída do detector: uma lista de entradas, cada uma com uma classe, uma caixa e uma pontuação.
• Os dois compartilham a extração de características e diferem quase por completo em como a localização é produzida.

A saída é uma caixa, e a caixa é o problema

Quando um guia diz “caixa delimitadora”, quer dizer o menor retângulo alinhado aos eixos desenhado em volta de um objeto — borda superior, borda esquerda, largura, altura, sem rotação. É a representação de localização mais barata que ainda é útil, e quase todo detector a produz, incluindo a ferramenta de navegador ligada no fim deste guia.

Concretamente, uma detecção é um punhado de números. O rótulo é a classe que o modelo acha que encontrou. A caixa é guardada como quatro números — ou o canto superior esquerdo mais largura e altura, ou o centro mais largura e altura. A pontuação é um único número, normalmente entre 0 e 1. Essa é toda a estrutura de dados, e todo detector existe para produzir esses números.

A forma da caixa carrega uma suposição oculta: a de que um objeto pode ser cercado apertadamente por um retângulo que não se inclina. Quando essa suposição quebra, a representação também quebra. Um gato enroscado numa bolinha redonda desperdiça a maior parte da caixa em fundo; um objeto longo, fino e diagonal é quase todo espaço vazio. E como um detector só prevê um retângulo, ele não consegue dizer onde o objeto realmente termina dentro dele. É por isso que “onde” é mais difícil que “o que” — você se compromete com uma forma geométrica para uma posição antes de ter encontrado o objeto —, e é exatamente por isso que um detector não é um segmentador.

As duas famílias de detectores

Todo detector tem que decidir o que e onde de uma vez. Duas estratégias dominam a área, e elas trocam velocidade por precisão em direções opostas. A diferença não é de qualidade — é onde a pergunta da localização é respondida.

Detectores de dois estágios: encontrar regiões e depois rotulá-las

Um detector de dois estágios divide o trabalho. Seu primeiro estágio propõe lugares que valem uma olhada: um conjunto de regiões candidatas que podem conter alguma coisa. Seu segundo estágio pega cada candidato por vez, decide se ele realmente contém um objeto, de qual classe, e ajusta a caixa para encaixar melhor. Os membros famosos dessa família — R-CNN e seus descendentes, Fast e Faster R-CNN, Feature Pyramid Networks — diferem principalmente em como essas propostas candidatas são geradas, de um método de propostas externo a uma rede de propostas aprendida que vive dentro do backbone.

Como o segundo estágio examina um punhado de candidatos promissores com atenção total, os detectores de dois estágios tendem a ser precisos, e historicamente se saíram melhor com objetos pequenos ou difíceis de distinguir. O custo é o tempo: olhar cada candidato duas vezes é lento por imagem. A estratégia também é fácil de ensinar — faça suposições sobre localizações e depois verifique cada suposição a fundo.

Detectores de um estágio: prever caixas e classes numa única passada

Um detector de um estágio não separa localização de classificação. Ele trata a detecção como predição densa: passa a imagem por um backbone uma vez, e em cada posição de saída prevê diretamente um pequeno conjunto de caixas e uma distribuição sobre as classes. Não há uma etapa de “espera, deixa eu olhar essa região mais de perto” — tudo sai de uma única passada para frente.

Isso os torna bem mais rápidos que os detectores de dois estágios, por isso dominam o trabalho em tempo real, e é o que YOLO significa — You Only Look Once, uma passada sobre a imagem inteira. A ideia é a mais fácil de enunciar: divida o mapa de características numa grade de células, e deixe cada célula propor caixas para objetos cujo centro cai dentro dela, com uma pontuação de classe para cada caixa. Um detector treinado assim nomeia e localiza cada objeto numa única vez, sem nenhuma etapa de propostas em lugar algum. Como nunca é pedido que reconsidere uma localização, a abordagem de um estágio foi historicamente mais fraca com objetos minúsculos, nos quais os pixels por objeto mal codificam alguma coisa — uma lacuna que variantes modernas fecham colocando mais esforço na ponta de objetos pequenos do treinamento. A troca continua lá: um estágio por velocidade e simplicidade, dois estágios por localização cuidadosa em casos difíceis.

Um terceiro padrão, em termos simples

Detectores baseados em transformers que surgiram mais recentemente — incluindo o modelo de estilo DETR que a ferramenta de navegador ligada executa — quebram o quadro de dois estágios / um estágio de um jeito útil. Em vez de gerar caixas densas em posições da grade e filtrá-las depois, um pequeno conjunto de consultas aprendidas atende cada uma à imagem inteira e produz diretamente uma caixa final. Como o modelo foi treinado para não prever o mesmo objeto duas vezes, esse estilo geralmente não precisa de uma etapa separada de filtragem de duplicatas. Você ainda escolhe limiares e convive com um conjunto fixo de rótulos, mas as propostas e a remoção de duplicatas vêm de um único sistema treinado em vez de serem costuradas no fim.

Por que um objeto recebe muitas caixas, e como elas são fundidas

Rode um detector numa foto de uma única bicicleta e você pode obter seis caixas que todas pousam sobre ela, todas rotuladas "bicycle", com bordas um pouco diferentes e pontuações diferentes. Isso não é um defeito. Um detector não decide uma vez onde está um objeto; ele propõe muitas caixas candidatas pela imagem inteira e pontua cada uma, e um objeto sob o suficiente dessas candidatas atrai uma multidão de acertos sobrepostos — cada célula da grade que o contém, cada forma de âncora que mais ou menos encaixa, cada posição de característica cujo campo receptivo o cobre. O sistema produz respostas redundantes de propósito: foi construído para ser exhaustivo, e perder o objeto por completo é pior que nomeá-lo duas vezes.

A supressão de não máximos, ou NMS, é a limpeza. Aplicada a uma pilha de caixas rotuladas, ela funciona assim: ordene todas as caixas por pontuação, pegue a de maior pontuação e adicione à lista final, depois jogue fora qualquer caixa restante da mesma classe que se sobreponha a ela demais — medido por interseção sobre união, a fração da área das duas caixas que elas compartilham. Repita: a próxima caixa sobrevivente de maior pontuação vira o novo item mantido e suas quase-duplicatas são podadas, até não sobrar nada. O que sobrevive é uma caixa por objeto, e é a candidata de que o modelo mais gostou.

O limiar que decide “sobreposição demais” é um botão de ajuste com consequências visíveis. Configure-o de forma agressiva e objetos adjacentes da mesma classe se fundem numa única detecção — dois carros lado a lado voltam como uma caixa larga, porque o segundo foi podado como “duplicata” do primeiro. Configure-o folgado e cada objeto mantém várias caixas sobrepostas. NMS é um pedacinho de lógica e uma das fontes mais comuns de saída estranha quando mal configurada. Uma ressalva, porque aparece com a ferramenta ligada: NMS é uma regra que as famílias clássicas de detectores encaixam depois da predição; um detector de estilo DETR é geralmente descrito como substituto dessa filtragem posterior por uma atribuição aprendida que evita emitir as duplicatas em absoluto.

O que é uma pontuação de confiança — e o que ela não é

Toda detecção traz uma pontuação, normalmente escrita como um número entre 0 e 1 e mostrada como um percentual. Vale ser franco sobre o que esse número é: um valor aprendido que o modelo foi treinado para emitir, alto quando suas características parecem pertencer a esta classe e baixo quando não. É um sinal produzido pela rede, não uma medida física, e não está calibrado para significar nada que você possa usar fora do modelo que o emitiu.

“Não é uma probabilidade” é a parte em que as pessoas erram. Uma caixa pontuada 0.90 não significa “há 90% de chance de isto ser um cachorro”. Uma pontuação bem-comportada se correlaciona com a realidade — números altos costumam ir com objetos reais, números baixos com ruído —, mas correlação não é calibração. O 0.90 do mesmo modelo significa algo diferente para "person" do que para "toothbrush", porque as classes têm faixas de aparência diferentes e números diferentes de exemplos de treinamento. O que uma pontuação é legitimamente boa para comparar é dentro de um modelo numa única passada: esta caixa é mais provável um cachorro real do que aquela, este rótulo vence aquele para estes pixels.

Como as pontuações são relativas, a pergunta prática é onde cortar. Todo detector expõe um limiar: mantenha as detecções cuja pontuação é igual ou acima dele, descarte o resto. Digamos que uma caixa pontua 0.58 — ela sobrevive quando o limiar está em 0.50 e desaparece quando o limiar é elevado para 0.60. Nada sobre a imagem mudou, e nada sobre a opinião do modelo a respeito dos pixels mudou também; só a regra de relatório se moveu. Então a mesma foto produz legitimamente listas de saída diferentes em limiares diferentes, e isso não é o modelo sendo inconsistente. É você decidindo quanta incerteza está disposto a aceitar.

Os limiares são onde a detecção encontra o custo real. Um sistema que perde um evento costuma ser pior que um que marca um falso, então você configura o limiar baixo e limpa o ruído depois; uma linha que para por um defeito fantasma custa dinheiro, então você o configura alto e arrisca uma perda rara. Não há número “certo” dentro do modelo — confiança é um botão, e o uso honesto é decidir de antemão qual lado dessa troca dói menos.

O conjunto de rótulos é fixo, e ele não pode dizer “desconhecido”

Um detector emite só classes de uma lista decidida durante o treinamento. O exemplo canônico é COCO, um benchmark cujo conjunto de rótulos cobre 80 categorias do dia a dia — pessoas, carros, animais, itens domésticos comuns —, e a maioria dos detectores “gerais” que você encontra, incluindo a ferramenta de navegador no fim deste guia, vem exatamente com essa lista. Você não pode perguntar a um modelo assim sobre uma categoria para a qual ele nunca foi treinado a reconhecer; não há um espaço onde colocar a resposta.

O que acontece quando você mostra algo fora da lista não é uma recusa educada. Não há saída “desconhecido”. Um detector só pode fazer duas coisas: atribuir um dos seus rótulos conhecidos, ou não devolver nada para aquela região. Então um objeto fora do conjunto de rótulos é absorvido na categoria conhecida que parecer mais próxima — um robô aspirador volta como "cat", um carrinho de compra como "chair", um brinquedo de montar como "car". Nada quebrou e nada te alertou; o detector esticou a mão para o rótulo mais próximo que tinha e o usou sem piscar. Essa é uma falha sem sinal de erro, o que a torna perigosa de um jeito que o caso do objeto perdido não é.

O outro lado é igualmente enganoso. Um objeto que está na lista mas é renderizado de forma estranha — um ângulo unfamiliar, uma cor rara, uma forma que o conjunto de treinamento sub-representou — pode pontuar baixo o bastante em todos os rótulos conhecidos para desaparecer por inteiro. O silêncio do detector não significa “não há nada aqui”; significa “nada correspondeu a nenhum rótulo que eu conheça bem o suficiente para reportar”. As 80 categorias são um vocabulário fixo, e tudo que está fora é parafraseado para algo próximo ou fica sem ser dito.

Uma consequência para explicitar, porque aparece o tempo todo: um rótulo é uma categoria, não uma identidade. Um detector que encaixa uma caixa numa figura e escreve "person" não reconheceu ninguém — ele afirmou que os pixels parecem a classe "person". Se aquela pessoa é alguém que você conhece é um modelo separado construído por cima, e um com consequências muito mais graves quando erra.

Onde a detecção sofre

Depois que você sabe como um detector forma sua resposta, suas fraquezas deixam de ser misteriosas. Cada um dos pontos a seguir quebra uma suposição específica embutida no mecanismo, e é por isso que cada um falha como falha.

Oclusão e pontos de vista incomuns

Um detector aprende com que cara um objeto tem quando a maior parte dele está visível e numa pose típica. Quando a parte visível encolhe — um carro meio escondido atrás de um pilar, um rosto de lado, uma pessoa vista só dos ombros —, a evidência na imagem não se parece mais com os exemplos de treinamento. Ângulos incomuns são o mesmo problema: uma xícara vista de cima diretamente tem uma borda oval e nenhuma alça, um notebook visto de lado é uma cunha fina. O modelo viu sobretudo objetos de frente e bem enquadrados, então é frágil assim que você muda a relação da câmera com a coisa que ela está olhando.

Objetos minúsculos e cenas movimentadas

Objetos pequenos impõem uma restrição brutal: um pássaro distante ou um rosto do outro lado da rua ocupam um punhado de pixels, e depois que a imagem passa pela pirâmide de características de uma rede real, muito pouco disso sobrevive. Detectores rotineiramente perdem coisas perfeitamente visíveis para você, especialmente quando a entrada foi reduzida em resolução — exatamente por isso a ferramenta ligada avisa que objetos pequenos somem. Multidões são a falha oposta com a mesma raiz: quando muitos objetos da mesma classe ficam juntos, suas caixas candidatas se sobrepõem muito e o NMS poda os sobreviventes como duplicatas um do outro, colapsando uma dúzia de pedestres em duas caixas. Corrija o primeiro só com mais resolução de entrada; corrija o segundo afrouxando o limiar de sobreposição e aceitando mais falsos positivos.

Reflexos e descompasso de resolução

Um reflexo pode produzir um "car" real e bem formado nos pixels sem nenhum objeto físico atrás — o detector encontra a aparência e a reporta, porque seu trabalho é encontrar aparências. Vidro de espelho, uma superfície brilhante e um pôster de um cachorro todos provocam isso. O caso mais sutil é o descompasso de resolução: todo detector foi treinado numa faixa de tamanhos de entrada, e fornecer uma imagem longe dessa faixa — uma foto enorme drasticamente reduzida, uma miniatura ampliada — muda a pegada de pixels de cada objeto. Um modelo que aprendeu que “um cachorro tem mais ou menos esta largura em pixels” para de notar um cachorro a um décimo daquela extensão. É o mesmo mecanismo que torna a redução de resolução arriscada, e por que detectores frequentemente precisam de uma etapa de pré-processamento compatível para sequer se comportar.

Onde a detecção é realmente usada

A detecção ganha seu lugar onde a pergunta é “aquela coisa está lá, e onde”, em vez de “o que é esta imagem”. As categorias abaixo são enunciadas de forma geral: elas descrevem para que o mecanismo serve, não o marketing de um único produto.

Varejo e inventário: contar itens numa prateleira, conferir uma exposição contra um plano, sinalizar lacunas onde deveria haver um produto, notar itens fora do lugar. Uma câmera aponta para a prateleira e um modelo encontra cada produto, então você pode contá-los e localizá-los em vez de apenas classificar a prateleira como “quase cheia”.

Embalagem e inspeção de qualidade: uma tampa faltando numa garrafa, um objeto na esteira errada, uma peça colocada de cabeça para baixo. A pergunta de passa-ou-reprova é sobre itens específicos em posições específicas, e um classificador obrigado a descrever a imagem inteira não consegue respondê-la.

Tráfego e contagem: detectar veículos, medir o fluxo de uma câmera fixa, contar pedestres, notar filas num cruzamento. A detecção dá as posições por objeto; uma etapa separada de rastreamento costuma ser adicionada quando você precisa seguir o mesmo objeto através de quadros em vez de contá-lo uma vez.

Robótica e assistência: um braço robótico precisa da posição do objeto antes de conseguir agarrá-lo, e um auxílio de navegação para uma pessoa com deficiência visual precisa dizer “porta à frente”. Nos dois, o valor está na caixa, não no rótulo. Cada uma dessas aplicações compartilha um requisito rígido: o conjunto de rótulos precisa realmente conter aquilo que te importa, pela razão da seção anterior.

Uma demo de detecção que você pode rodar no seu navegador

A página ligada deste guia executa o mecanismo localmente. Você dá a ela uma imagem — PNG, JPG ou WebP — e ela baixa os pesos do modelo no primeiro uso, depois os reutiliza do cache do seu navegador. Nada da sua foto é enviado; os pixels são lidos, redimensionados e passados pelo detector dentro da aba, e a imagem anotada é desenhada num canvas na página.

Por baixo dos panos ela roda um detector de transformers de estilo DETR sobre as 80 categorias do dia a dia de COCO, usando uma cópia quantizada dos pesos pequena o bastante para ser enviada a um navegador. Ela devolve uma detecção para cada objeto que encontra: uma caixa delimitadora desenhada sobre a imagem e uma pontuação de confiança na tabela de objetos detectados, e você pode baixar a imagem anotada. Ela filtra o que mostra pelo mesmo tipo de limiar de pontuação descrito antes, então elevá-lo derruba as caixas de baixa pontuação e baixá-lo as traz de volta.

Vale ser explícito sobre os limites, porque “detecção de objetos no seu navegador” convida a expectativas falsas. Ela trata uma imagem por vez. Reduz a resolução da sua imagem antes da inferência, que é exatamente o descompasso de resolução discutido acima e a razão de objetos pequenos simplesmente não aparecerem. Seu conjunto de rótulos é fixo naquelas 80 categorias de COCO, então ela não pode nomear nada fora delas. Não identifica pessoas: uma caixa rotulada "person" é uma categoria, não o reconhecimento de alguém. Não há segmentação, nem máscara, nem rastreamento de vídeo, e não há função de contagem além do número de linhas na tabela de objetos detectados. Trate-a pelo que ela é — uma demonstração funcional de caixas, pontuações, limiares e o mecanismo de uma única passada, rodando na sua própria cópia do modelo — não um detector de produção, e ela não vai medir a própria precisão.

Perguntas frequentes