¿Cómo funciona el reconocimiento de imágenes?

La respuesta corta

Un reconocedor de imágenes moderno es una pila de capas de cálculo numérico que convierte una foto en una lista ordenada de nombres. Le das píxeles. Las primeras capas detectan cosas simples como bordes y transiciones de color, las capas intermedias ensamblan eso en texturas y partes, y las capas profundas combinan partes en evidencia de objetos completos. La última capa emite una puntuación para cada categoría que el modelo conoce, y la etiqueta con la puntuación más alta es la respuesta que ves.

Dos propiedades de esa máquina explican casi todo lo sorprendente de ella. Primera: nadie escribió reglas que le dijeran qué es un perro. Ajustó números internos hasta que sus conjeturas coincidían con etiquetas que humanos habían puesto a millones de fotos de ejemplo, así que es un emparejador de patrones sobre datos, no un programa con definiciones. Segunda: su vocabulario se congeló el día que terminó el entrenamiento. No puede nombrar una cosa que no está en su lista, y no tiene ninguna salida para «no está en mi lista», así que te entrega el nombre disponible más parecido.

• La clasificación responde a una sola pregunta: de las categorías que conozco, ¿cuál encaja mejor con esta imagen?
• La detección responde otra distinta: dónde está cada cosa en la foto, como una caja.
• La segmentación responde una tercera: qué píxeles concretos pertenecen a qué cosa.
• Una puntuación de confianza ordena una lista fija de etiquetas. No es un porcentaje de probabilidad de acierto.
• Los modelos pequeños corren en el móvil y en pestañas del navegador, así que una foto nunca tiene que salir del dispositivo.

De píxeles a partes y de partes a objetos

Empieza por lo que el modelo recibe. Para un ordenador una imagen es una cuadrícula de números, una lectura de brillo por píxel por canal de color. La herramienta del final de esta página trabaja sobre una cuadrícula cuadrada de 224 × 224, es decir 50,176 píxeles, y con tres canales de color son 150,528 números de entrada. Lo que sea que fotografíes se redimensiona primero a esa forma, un paso con pérdidas que la gente rara vez nota y que cambia los resultados.

El modelo aplica entonces capa tras capa de filtros pequeños. Cada filtro es una ventanita de números que se desliza por la imagen e informa de cuán fuerte está presente un patrón local. Cada uno en sí es trivialmente simple; la profundidad es lo que los hace útiles. La capa uno encuentra bordes, esquinas y fronteras de color. La capa dos ve bordes dispuestos en curvas y texturas repetidas. Las capas más profundas ven ojos, ruedas, marcos de puerta, el punto donde el pelaje se encuentra con un collar. Hacia las últimas capas, las activaciones corresponden a evidencia de objetos completos, construida a partir de combinaciones de lo que las capas anteriores detectaron.

La última etapa colapsa todo eso en la lista de etiquetas. Cada categoría conocida recibe un número, y los números se normalizan para sumar uno en todo el vocabulario. Como orden es informativo: esta foto se parece mucho más a un retriever que a una tostadora. Como probabilidad de que un objeto real esté presente es mucho más débil, y ese es todo el tema de la quinta sección.

Ten claro lo que no ocurre. No hay ningún paso en el que el modelo compare tu foto contra una biblioteca de fotos guardadas, y no hay un diccionario de definiciones dentro de él. Dos fotos del mismo perro activan la misma ruta por la red porque llevan las mismas regularidades, no porque el modelo recuerde alguna de las dos.

Aprendido de ejemplos, no de reglas escritas

Durante décadas el enfoque obvio era escribir las reglas a mano: si el objeto es redondo y naranja, es una pelota. Ese programa se derrumbó porque las fotografías no cooperan. La misma pelota aparece en cuarenta ángulos, con seis condiciones de luz, medio escondida detrás de una silla, borrosa por el movimiento. Codificar esa variabilidad como lógica es imposible.

El enfoque que lo sustituyó invierte la dirección del trabajo. Tú aportas imágenes con etiquetas humanas adjuntas, más un modelo cuyos pesos empiezan como ruido. El modelo adivina, una métrica puntúa cuán equivocado estaba, y un optimizador empuja cada peso en la dirección que habría reducido el error. Repetir sobre millones de imágenes y muchas pasadas. Nadie especifica cómo es un perro; el concepto de perro acaba repartido por los pesos como efecto secundario del ajuste.

Esa elección compra generalidad y cuesta tres cosas que conviene recordar. Tu modelo solo puede reconocer categorías representadas en las etiquetas de entrenamiento. Hereda el sesgo del conjunto de datos, porque es un resumen de ese conjunto. Y puede estar equivocado con total seguridad de formas en que un sistema de reglas no lo estaría, porque nunca se queda sin patrones con los que hacer coincidir.

El entrenamiento también fija el vocabulario de forma permanente. Añadir una categoría cambia la forma de la última capa, lo que invalida los pesos que hay debajo, lo que significa volver a entrenar incluyendo ejemplos de la nueva clase.

Un último detalle sorprende a la gente: el modelo que llega a tu dispositivo no es el modelo que se entrenó. El entrenamiento corre en precisión numérica completa para que los empujones sigan siendo significativos. Para el despliegue, los pesos suelen cuantificarse, guardándose como un byte cada uno en lugar de los cuatro bytes que necesita un número de precisión completa. Es un cambio de formato de almacenamiento sobre la misma red, y es lo que hace un modelo lo bastante pequeño para una pestaña del navegador, al precio de un poco de resolución en los números de salida.

Tres preguntas a las que todas llaman reconocimiento

La gente usa reconocimiento de imágenes como una sola etiqueta para tres tareas con salidas distintas y dificultades distintas. Confundirlas causa la mayor parte de la decepción en este campo, porque un sistema que clava una normalmente no puede hacer las otras en absoluto.

Clasificación: ¿qué es esta foto?

La clasificación toma una imagen entera y devuelve una etiqueta, o un puñado ordenado. No hay posición en la salida. Responde perfectamente a «¿es esta una foto de un gato» y no responde en absoluto a «¿dónde está el gato».

Es la que mejor escala hacia abajo, y por eso es la tarea que corre en móviles y en demos del navegador. También asume en silencio un sujeto dominante: dale a un clasificador cinco cosas sin relación y obtienes una disputa zanjada en una o dos etiquetas, con el resto descartado.

Detección: ¿dónde está cada cosa?

La detección devuelve un conjunto de resultados, cada uno una categoría más un rectángulo: varios objetos, varias etiquetas, posiciones incluidas. Los conjuntos de datos públicos de detección cubren algo así como entre unas docenas de categorías cotidianas y unos pocos miles, cada uno un vocabulario fijo igual que en clasificación.

La detección suele construirse sobre una columna vertebral de clasificación, y luego una etapa que propone regiones candidatas y etiqueta cada una. Esa etapa extra es la razón de que los detectores sean más grandes y lentos, y de que los modelos pequeños que caben en una pestaña sean generalmente clasificadores.

Segmentación: ¿qué píxeles pertenecen a qué?

La segmentación produce una máscara, asignando cada píxel a una clase. En su forma más simple es una superposición codificada por color que no separa dos perros pegados el uno al otro; la segmentación de instancias va más allá y los separa como objetos individuales.

Es la más cara de las tres, porque la red responde por cada píxel en lugar de por la imagen o por una caja. Es lo que necesitas cuando la tarea mide algo, como contar células en una muestra o separar calzada de acera. Una caja es una conjetura sobre la ubicación; una máscara es una afirmación sobre la forma.

La parte que todos entienden mal: una puntuación ordena una lista fija

Si te llevas una sola cosa de esta guía, llévate esta. Los números que salen de un clasificador son un orden sobre un conjunto cerrado de nombres que al modelo se le dejó aprender, y nada más. Casi todos los errores que la gente comete con estos sistemas vienen de olvidar eso.

El vocabulario se decide durante el entrenamiento y nunca cambia cuando el modelo corre. Un modelo entrenado con mil categorías cotidianas puede emitir una de exactamente mil etiquetas para tu foto, siempre, y mostrar las cinco mejores esconde las otras novecientas noventa y cinco. No hay casilla para una respuesta fuera de la lista y, crucialmente, no hay casilla para «ninguna de las anteriores».

Entonces, ¿qué pasa cuando fotografías algo para lo que la lista no tiene nombre? El modelo no se encoge de hombros. Aplica sus pesos, alguna etiqueta antigua encaja mejor con la textura o el color que el resto, y te llega una respuesta. Una foto de una tarjeta de acceso de oficina puede volver como «sobre». Un plato de una gastronomía apenas cubierta puede volver como «cuenco de sopa». Ninguna de las dos es una alucinación en el sentido dramático: es el nombre disponible más cercano, que es todo lo que la arquitectura ofrece.

La otra mitad del malentendido es el número en sí. Como las mil etiquetas compiten por un total de uno, la puntuación de la ganadora depende de cuáles fueron sus rivales. Dos razas muy emparentadas se reparten la misma evidencia, así que cada una recibe un número más bajo que el que tendría si la otra estuviera ausente. Una puntuación de 0.55 en una tarea de grano fino no es la misma afirmación que 0.55 entre mil clases radicalmente distintas, y ninguno de estos números es la probabilidad de que el objeto exista.

Así que lee la forma de la distribución en lugar de confiar en el titular. Una etiqueta muy por delante significa que la foto coincide con algo que el modelo conoce bien. Cinco etiquetas agrupadas significan que está decidiendo entre casi iguales, lo que a menudo significa que la respuesta verdadera no está y que está eligiendo entre las tres más cercanas.

• Una puntuación compara dentro de un vocabulario fijo; no mide cuán seguro es el mundo.
• El modelo no puede emitir un nombre con el que nunca fue entrenado, se le muestre lo que se le muestre.
• No existe una clase «desconocido» a menos que alguien la haya metido a propósito.
• Un top-5 plano y agrupado es en sí una señal: esto no está claramente en mi vocabulario.
• Un líder apenas por delante de una quinta etiqueta con otro significado es lo más parecido a encogerse de hombros.

Dónde se equivoca

Un modelo entrenado es un resumen estadístico de sus datos, así que falla en patrones, no al azar. Cinco de esos patrones explican la mayor parte de lo que ves fuera de un artículo de investigación.

Sesgo del conjunto de entrenamiento

En lo que el conjunto de datos abunda, eso el modelo llega a dominarlo. Las colecciones de imágenes públicas sobrerrepresentan ciertos países, estilos de cámara, objetos y contextos, y la competencia sigue esa distribución como una sombra. Las categorías que aparecen raramente, o casi siempre en un entorno, solo se reconocen en ese entorno. Las personas lo pasan peor aquí: un sistema entrenado con una población desequilibrada rinde mejor con el grupo que más vio, lo cual es una propiedad de los datos, no de las personas.

Atajos de escena en lugar del objeto

Un modelo entrenado con fotos de perros en céspedes aprende que la hierba es una pista fuerte de perro. Mueve al perro a una cocina y la puntuación cae. Pon un cojín con forma de perro en la hierba y sube. Es la forma más fiable de exponer a un clasificador: cambia el contexto, deja el sujeto en paz, mira moverse la respuesta. El modelo usa cada correlación que los datos le ofrecieron, y no puede distinguir qué evidencia importa.

Ángulos raros, recortes ajustados y encuadres inusuales

La mayoría de las fotos de entrenamiento muestran el sujeto centrado, erguido y en gran parte visible. Una toma desde arriba, un primer plano extremo de un componente, una imagen girada o muy recortada: todo eso empuja la entrada lejos de aquello para lo que se afinaron los pesos. Recortar es doblemente traicionero: puede borrar el contexto en el que el modelo se apoyaba, o dejar solo el contexto y borrar el sujeto.

Baja resolución y compresión fuerte

El detalle carga la diferencia entre categorías parecidas, y el detalle es lo primero que se pierde. Reduce una foto a la cuadrícula de entrada del modelo y un sujeto pequeño puede acabar con menos píxeles que sus propios bordes, momento en el cual el modelo está emparejando manchas de color. La compresión añade textura que nunca estuvo en los datos de entrenamiento, así que un modelo puede parecer excelente con originales de cámara y poco fiable con miniaturas.

La brecha entre top-1 y top-5

Top-1 cuenta un resultado como correcto solo si la mismísima primera etiqueta acierta. Top-5 lo cuenta como correcto si la verdad aparece en cualquier punto de las cinco primeras. La brecha entre ambas es un diagnóstico: se ensancha justo cuando el modelo atina con el tipo general de cosa pero no precisa cuál. Una única cifra reportada calculada como top-5 es la versión que queda bien.

El reconocimiento facial son tres sistemas distintos

Pregunta cómo funciona el reconocimiento facial y has hecho una pregunta con tres respuestas. Son tareas distintas con dificultades distintas, modos de fallo distintos y consecuencias distintas para las personas implicadas. Un clasificador de imágenes no tiene opinión sobre quién eres, y la razón es estructural, no una función que falte.

Detección de caras: ¿hay una cara, y dónde

La más fácil de las tres, y lo que la mayoría de productos que se llaman reconocimiento facial hacen en realidad. La salida es un recuento y unos rectángulos, a veces puntos de referencia de ojos, nariz y boca. No hay identidad de por medio. Un detector dice sin problema «aquí hay tres caras» y no tiene idea de si son desconocidos o hermanos.

Verificación facial: ¿es esta la misma persona

Una comparación uno a uno. Te registras una vez, el sistema guarda una plantilla numérica construida a partir de tu cara, y después responde una pregunta estrecha: ¿coincide esta cara nueva con esa plantilla guardada? Esa es la forma del problema que resuelve el desbloqueo de un teléfono, y es más fácil que la identificación porque la comparación es contra una única referencia conocida en lugar de una multitud. La verificación tiene dos tipos de error, aceptar a un suplente y rechazar al titular real, y su punto de operación es un compromiso elegido, no una capacidad fija.

Identificación facial: quién es esta, entre todos

Una búsqueda de uno a muchos: toma una cara desconocida y encuentra la mejor coincidencia entre candidatos, el duro problema de conjunto abierto. Debe funcionar con personas que nunca se registraron, bajo la pose, la luz y la edad que la cámara captó, contra una galería que no para de crecer. Sus tasas de error suben con el tamaño de esa galería, hereda todos sus sesgos, y tiene las peores consecuencias cuando falla, porque una respuesta equivocada nombra a una persona inocente. A diferencia de la verificación, la identificación puede ejecutarse sin el consentimiento del sujeto.

Lo que un teléfono hace de verdad, y la trampa

El desbloqueo en un teléfono moderno es verificación, no identificación, y la arquitectura lo refleja. Durante la configuración la cámara mira tu cara y construye una plantilla en el dispositivo: una codificación numérica derivada de la forma que presentaste. La comparación posterior coteja la toma en vivo contra esa referencia guardada localmente. No se envía a ningún sitio nada de tu cara para hacer la comparación, y no hay un servidor con una galería de caras de otras personas para que el teléfono busque. Mantener el registro y la comparación en el dispositivo es un diseño genuinamente distinto de buscarte la cara en una base de datos.

La mayoría de teléfonos además dejan de tratar la entrada como una fotografía en color corriente. La información de profundidad, recogida proyectando y midiendo un patrón de luz, hace que el sistema compruebe la forma de una cara y no una foto de ella, que es lo que convierte una foto impresa en un mal sustituto. Los mecanismos difieren entre dispositivos, así que esta guía no afirma nada sobre modelos concretos.

La trampa va sobre qué es un dato biométrico. Una contraseña es un secreto que elegiste; su seguridad viene de que nadie más lo conozca y de que puedes reemplazarlo en el momento en que sospechas que se filtró. Una cara no es un secreto. La exhibes constantemente, existen imágenes nítidas de ella en servidores de otras personas, y se comparte con cualquiera que se parezca a ti. Si una plantilla facial se ve comprometida, no puedes reemitir tu cara. Borras el registro y lo configuras de nuevo, y lo que se mide sigue siendo público.

Así que el encuadre honesto del desbloqueo facial es una conveniencia con una barrera real, no una caja fuerte. El recurso a un código tras un reinicio o intentos fallidos existe por eso, y el código es la parte que se comporta como un secreto. Lo biométrico disuade un intento casual de alguien que no te conoce bien; un secreto memorizado es lo que protege contra más.

Dónde rinde de verdad el reconocimiento de imágenes

Dejando el bombo a un lado, los despliegues que rentabilizan de forma constante comparten una característica: clasifican un volumen abrumador de imágenes en un conjunto fijo de cajones más rápido que cualquier equipo humano, y enrutían trabajo en lugar de finalizarlo.

• Bibliotecas de fotos: encontrar fotos de tu perro o de tu pila de recibos sin etiquetar a mano.
• Documentos: reconocer que una página es un recibo, una tarjeta de visita o una factura, enderezarla y enviar los campos al formulario correcto.
• Accesibilidad: describir en voz alta el contenido de una escena y escribir texto alternativo para que una foto no sea un callejón sin salida para un lector de pantalla.
• Comercio y logística: contar el stock de una estantería, marcar un artículo mal colocado y leer adónde debe ir un paquete.
• Sanidad como asistente: resaltar una zona de una radiografía o de una muestra para que un clínico la revise, con la persona tomando la decisión.
• Moderación de plataformas: detectar contenido prohibido en lo subido en un volumen que ningún equipo podría revisar a mano, con humanos en los casos ambiguos.
• Clasificación física: fruta en una cinta, reciclables en una banda, especies invasoras en una cámara trampa, donde las categorías se conocen pero el caudal no.

Probarlo aquí: qué hace y qué no hace esta demo

La herramienta enlazada es una demostración deliberadamente pequeña del flujo anterior. Ejecuta un modelo de visión compacto diseñado para dispositivos móviles, guardado en forma cuantizada, completamente dentro de tu pestaña del navegador. Tu imagen se redimensiona a las dimensiones de entrada del modelo, se empuja por la red, y recibes el top-5 de etiquetas con sus puntuaciones, sacadas de un conjunto fijo de unas mil categorías cotidianas de ImageNet. No se sube nada: los píxeles se quedan locales y solo se descargan los pesos entrenados.

Ese alcance trae límites, y son los de los que esta guía ha tratado, no una desventaja añadida a propósito. Es solo clasificación de imagen completa, así que no hay cajas delimitadoras, ni regiones, ni respuestas por objeto; un detector es otra herramienta. No hace ningún tipo de reconocimiento facial ni identificación de personas, así que no puede decirte de quién es la cara de una foto. No puedes añadir categorías: el conjunto de etiquetas lo fija el entrenamiento, y ampliarlo significa reentrenar. No hay búsqueda de similitud ni búsqueda inversa de imágenes, así que no encontrará fotos visualmente comparables.

Espera también los modos de fallo. Como la imagen se redimensiona al tamaño de entrada del modelo, el detalle fino se pierde de verdad, así que los objetos pequeños y las entradas de baja resolución reciben evidencia más escasa con la que trabajar. Existe una explicación breve para algunas clases y el resto cae a una frase genérica, así que no leas las notas como una base de conocimiento por categoría. Y como el vocabulario es mil categorías cotidianas, los objetos inusuales devuelven un nombre cercano y plausible en lugar de una admisión de ignorancia.

Lo interesante es ver cómo se comportan las puntuaciones. Fotografía con claridad un animal común y observa la distribución con un pico marcado. Prueba el mismo sujeto desde arriba, o recortado hasta dejar un fragmento, y mira moverse el orden. Prueba algo sin nombre en la lista y mira a qué etiqueta alcanza. Luego enséñale varias cosas sin relación y observa cómo gana un solo sujeto.

En el primer uso se descargan los pesos, y después tu navegador los reutiliza, así que no estás trayendo el modelo en cada visita. La imagen en sí nunca sale de tu máquina.

Preguntas frecuentes