Cómo crear una matriz de cobertura para un conjunto de datos visuales

La calidad de un conjunto de datos de visión por computadora depende de algo más que del número de imágenes. Cuando los equipos evalúan conjuntos de datos de entrenamiento de IA, una colección numerosa puede seguir siendo débil si le faltan las condiciones de iluminación, los puntos de vista, las escalas de los objetos, las oclusiones, las condiciones de la cámara y los casos límite que el modelo enfrentará tras su despliegue.

El recuento bruto de archivos también puede exagerar la cobertura cuando muchos ejemplos están próximos — duplicados o provienen de la misma escena, sesión de fotos, sesión de captura o secuencia de vídeo. La cuestión práctica es si el conjunto de datos contiene suficiente evidencia utilizable e independiente para las condiciones que se espera que el modelo maneje, y si el conjunto de evaluación puede exponer dónde falla el modelo.

Una matriz de cobertura del conjunto de datos convierte esa pregunta en una auditoría medible. Cruza variables importantes como clase, iluminación, puntos de vista, escala, oclusión, entorno o dispositivo, y registra cuánta evidencia significativa existe en cada intersección. Usada correctamente, convierte una petición vaga de «datos más diversos» en una decisión concreta sobre recopilación, curación, entrenamiento o evaluación.

La cobertura es solo una parte de la calidad de los conjuntos de datos de visión por computadora. Los conjuntos de imágenes pueden tener una amplia cobertura visual y, aun así, ser deficientes si las anotaciones son inexactas, los ejemplos están muy duplicados, los archivos son técnicamente inapropiados, escenas estrechamente relacionadas se filtran entre las particiones de entrenamiento y evaluación, o la información sobre la fuente y la procedencia está incompleta.

Una revisión práctica debería separar varias preguntas:

• Cobertura: ¿Están las clases importantes y las condiciones de operación representadas con suficiente evidencia?

• Calidad de las anotaciones: ¿Son las etiquetas y anotaciones correctas y suficientemente consistentes para la tarea?

• Independencia: ¿Los recuentos brutos de archivos sobreestiman la cantidad de evidencia distinta?

• Validez técnica: ¿Son los archivos utilizables para entrenamiento y evaluación?

• Documentación y procedencia: ¿Se puede entender, reproducir, revisar y usar el conjunto de datos de forma adecuada?

Por lo tanto, una matriz de cobertura complementa el control de calidad de las anotaciones, la deduplicación, la validación de las particiones y la documentación del conjunto de datos. No las reemplaza.

Estos conceptos se superponen, pero responden a preguntas diferentes. El equilibrio de clases describe cómo se distribuyen las etiquetas. La diversidad describe cuán variados son los ejemplos en general. La cobertura pregunta si las condiciones especificadas están representadas con suficiente evidencia. La representatividad pregunta qué tan bien el conjunto de datos refleja la población o el contexto operativo que importa para el uso previsto.

Un conjunto de datos puede ser visualmente diverso y aun así pasar por alto un segmento crítico. Puede contener muchas motocicletas, muchas imágenes nocturnas y muchas vistas laterales, pero casi ninguna motocicleta mostrada de lado por la noche. Cada categoría de alto nivel puede parecer saludable mientras la intersección importante sigue siendo débil.

La representatividad no es lo mismo que la uniformidad. Un conjunto de evaluación puede contener deliberadamente más escenarios raros o de alto riesgo de lo que sugeriría su frecuencia natural porque esos escenarios necesitan una medición fiable.

Ejemplo ilustrativo: los porcentajes en este mapa de calor son hipotéticos y se incluyen únicamente para demostrar cómo una matriz de cobertura puede exponer intersecciones débiles.

Una matriz de cobertura del conjunto de datos es una tabla o un mapa de calor que cruza variables relevantes para el despliegue y registra la cantidad de evidencia utilizable en cada celda. No existe una matriz universal que se aplique a todos los proyectos de computer vision datasets. Las dimensiones, la unidad de evidencia y los objetivos deben definirse para la tarea.

Los ejes típicos de cobertura incluyen:

• Iluminación: luz diurna, luz artificial, poca luz, contraluz, iluminación mixta

• Punto de vista: frontal, trasero, lateral, elevado, oblicuo, primera persona

• Distancia o escala del objeto: cerca, media, lejana, objeto pequeño, parcial en el encuadre

• Oclusión: ninguna, parcial, severa, autoocluida

•  Densidad de la escena: aislada, moderada, concurrida

•  Calidad de imagen: limpia, con ruido, borrosa, comprimida, sobreexpuesta o subexpuesta

•  Contexto: ubicación, clima, dispositivo, sensor, fondo, entorno, hora del día

La unidad útil que se contabiliza también depende del proyecto. Una imagen sin procesar es un archivo, pero no necesariamente una pieza independiente de evidencia. Una ráfaga de 50 fotografías casi idénticas puede aumentar el recuento de archivos en 50 sin aportar 50 ejemplos sustancialmente distintos. El mismo problema aparece cuando se extraen cientos de fotogramas consecutivos de un vídeo.

Por esa razón, escenas únicas, sujetos, vídeos de origen, sesiones fotográficas, ubicaciones, dispositivos o sesiones de captura pueden ser más informativos que el mero recuento de archivos.

1. Definir el entorno de despliegue

Comience con las condiciones que el modelo encontrará realmente. Describa las escenas, los sujetos, los dispositivos, los entornos y las condiciones de fallo que se espera que el sistema maneje. No comience únicamente con los campos de metadatos que resulten estar disponibles.

Un detector de peatones en exteriores puede necesitar escenas nocturnas, lluvia, sombras, multitudes, oclusión parcial, altura de la cámara, distancia al sujeto, variación en la vestimenta y movimiento. Un sistema de inspección en una fábrica puede interesarse más por la variante del producto, el tipo de defecto, el acabado de la superficie, la contaminación, la iluminación, la posición de la cámara y el tamaño del defecto.

Una dimensión de cobertura útil normalmente supera al menos una de las siguientes tres pruebas: puede, de forma plausible, cambiar el comportamiento del modelo; representa un escenario de producción importante; o detectar una brecha alteraría lo que el equipo recopila, etiqueta, prueba o prioriza a continuación.

Este enfoque orientado al despliegue es consistente con el principio más amplio en el NIST AI Risk Management Framework de que los sistemas de IA deben evaluarse en relación con su contexto de uso previsto y el riesgo.

2. Elija ejes de cobertura lo suficientemente específicos para actuar

Las etiquetas amplias generan conclusiones amplias. “Imágenes difíciles” le da al equipo de recopilación muy poco con qué trabajar. Baja iluminación, desenfoque por movimiento, deslumbramiento, oclusión severa, fondos cargados y puntos de vista extremos pueden convertirse, cada uno, en objetivos de obtención o etiquetado medibles.

Las variables continuas pueden agruparse en rangos operativos cuando los rangos corresponden a cambios significativos en el comportamiento del modelo. El tamaño del objeto puede agruparse según la proporción del fotograma que ocupa el objetivo. La distancia de la cámara puede categorizarse como cercana, media y lejana.

Evite una granularidad excesiva al principio. Una matriz más pequeña que se mantenga y se use es más valiosa que una taxonomía exhaustiva que nadie actualiza.

3. Cuente la evidencia independiente utilizable

El volumen bruto no debe tratarse automáticamente como cobertura efectiva. Considere si la unidad apropiada es un archivo individual, una anotación válida, un sujeto único, una escena única, el video fuente, la sesión de captura, la sesión de fotografía, la ubicación o el dispositivo.

Para conjuntos de datos derivados de video, el video fuente, la toma, la escena, la marca de tiempo y la sesión de captura pueden importar más que el número de fotogramas extraídos. Cuando sea posible, informe tanto el volumen bruto como un recuento efectivo basado en la unidad que mejor represente la variación significativa.

4. Establezca objetivos antes de decidir qué falta

Una matriz se vuelve operativa solo cuando el equipo define qué significa una cobertura adecuada. Sin un objetivo, se puede comparar una celda que contiene 2.000 ejemplos con otra que contiene 200 ejemplos, pero ninguna puede juzgarse como suficiente o insuficiente.

Los objetivos pueden combinar un número mínimo de ejemplos utilizables, un número mínimo de escenas independientes o sesiones de captura, representación en múltiples dispositivos o entornos y suficientes ejemplos reservados para evaluación. El riesgo debe influir en esos objetivos. Un escenario raro que provoque fallos costosos o relevantes para la seguridad puede merecer más cobertura de evaluación que su frecuencia natural sugeriría.

Un cálculo simple específico del proyecto es:

Relación de cobertura objetivo = evidencia independiente utilizable / objetivo definido por el proyecto

Una relación de 1.0 significa que se ha alcanzado el objetivo. Una relación de 0.5 significa que la celda contiene la mitad de la evidencia requerida. Esta es una métrica de planificación operativa, no una medida universal de la calidad del conjunto de datos.

5. Convierta las brechas en tareas de recopilación o curación

El análisis de cobertura debe alimentar la canalización de datos en lugar de terminar en un informe. Una celda débil debe convertirse en una tarea específica con un responsable, unidad de evidencia, método de obtención, objetivo y regla de aceptación.

La intervención puede consistir en búsqueda en archivos, muestreo dirigido, nuevas capturas en el mundo real, anotación, datos sintéticos, aumento de datos, reequilibrio del entrenamiento o ampliación de la evaluación. Estas opciones resuelven problemas distintos. El aumento de datos puede variar ejemplos que ya existen, pero no puede sustituir completamente a un entorno que nunca fue capturado. Los datos sintéticos pueden ayudar a crear combinaciones raras, pero deben validarse frente al dominio objetivo real. El reequilibrio cambia la exposición durante el entrenamiento; no crea evidencia faltante.

Aquí es donde una matriz de cobertura resulta más informativa que un conjunto de gráficos de frecuencia. Los recuentos marginales pueden parecer sólidos, mientras que combinaciones importantes están casi vacías.

En conjuntos de datos para el reconocimiento de objetos, el punto de vista, la escala, la iluminación, el fondo y la oclusión a menudo interactúan. Un conjunto de datos puede contener muchas motocicletas, muchas imágenes nocturnas y muchas vistas laterales, pero casi no hay motocicletas mostradas de lado en imágenes nocturnas. Si esa combinación importa en el despliegue, la brecha es real, aunque cada categoría principal parezca bien representada.

Las intersecciones de alto valor suelen incluir:

• Clase de objeto x iluminación

• Clase de objeto x oclusión

• Iluminación x punto de vista

• Geografía x clima

• Tipo de dispositivo x calidad de imagen

• Tipo de defecto x variante de producto

• Tipo de fondo x escala del objeto

No cruces todas las variables entre sí. Prioriza las combinaciones que probablemente influyan en el comportamiento del modelo, que ocurran con suficiente frecuencia como para importar, o que generen consecuencias significativas cuando el modelo falle.

Una celda completa puede seguir siendo una celda débil

La cobertura no debe confundirse con la utilidad o la calidad. Una celda puede parecer bien poblada, mientras que gran parte de su contenido consiste en casi duplicados, imágenes de ráfaga repetidas, fotogramas consecutivos de vídeo, archivos corruptos, anotaciones débiles, sujetos o ubicaciones repetidas o material de origen mal documentado.

Un gran volumen puede, por tanto, ocultar evidencia débil. Si una celda contiene 3.000 archivos de 20 sesiones de captura muy agrupadas mientras otra contiene 1.000 archivos de 400 escenas realmente diferentes, el recuento bruto de archivos por sí solo ofrece una imagen incompleta.

Normalice los números para que el desequilibrio sea fácil de ver

Los recuentos absolutos son útiles, pero las proporciones y los porcentajes facilitan la comparación de la cobertura entre clases y condiciones de tamaños muy distintos. Una celda puede informar el recuento bruto, el recuento independiente, la participación en una clase, el progreso hacia un objetivo o un recuento efectivo tras la desduplicación.

Los conjuntos de datos naturales rara vez necesitan celdas perfectamente uniformes. Las escenas comunes suelen acumularse más rápido que los casos límite. El problema no es el desequilibrio en sí; es el desequilibrio que es invisible, accidental o demasiado grave para la tarea y el plan de evaluación.

Ejemplo ilustrativo: los recuentos en este gráfico son hipotéticos y se incluyen solo para mostrar cómo la cobertura desigual puede hacerse visible.

Los conjuntos de datos de entrenamiento y de evaluación tienen funciones distintas, por lo que sus requisitos de cobertura deben medirse por separado. El conjunto de entrenamiento plantea si el modelo dispone de evidencia suficiente y variada para aprender. El conjunto de evaluación plantea si las pruebas pueden revelar de forma fiable dónde el modelo tiene éxito y dónde falla.

Una condición rara puede requerir un conjunto de entrenamiento considerable y, por separado, una porción retenida lo bastante grande y controlada como para proporcionar una estimación de rendimiento útil. Por lo tanto, la cobertura de evaluación debería planificarse en torno a condiciones explícitas y casos difíciles en lugar de tratarla como el resto aleatorio de la colección de entrenamiento.

Si los escenarios difíciles apenas están representados en el conjunto de evaluación, la precisión agregada puede mantenerse alta mientras el rendimiento es pobre precisamente donde importa. Una evaluación que tenga en cuenta la cobertura se beneficia de reportar métricas por condiciones de iluminación, tamaño del objeto, dispositivo, ubicación, punto de vista, oclusión, clima, densidad de la escena u otros segmentos relevantes, además de una puntuación global.

El análisis de cobertura no debe terminar cuando se ensambla el primer conjunto de datos. Los fallos de validación y en producción a menudo revelan variables que no eran evidentes durante la recolección inicial.

Si un modelo presenta un rendimiento consistentemente bajo en una condición que no se rastreó originalmente, añada esa condición a la especificación de cobertura y vuelva a medir los subconjuntos de entrenamiento y evaluación correspondientes. Esto crea un bucle de retroalimentación: los requisitos de despliegue moldean la primera matriz, los errores del modelo la refinan, los nuevos datos cierran las brechas más importantes y las evaluaciones posteriores prueban si el cambio ayudó.

Una matriz de cobertura puede revelar asociaciones que merecen una investigación más profunda. Imagínese que casi todos los ejemplos positivos se captaron en interiores, mientras que casi todos los ejemplos negativos procedían de escenas al aire libre. Un modelo puede aprender el fondo en lugar del objeto previsto.

Riesgos de atajos similares pueden surgir cuando una clase está fuertemente asociada con una cámara, ubicación, estación, paleta de colores, grupo demográfico o nivel de calidad de imagen. Cruce las etiquetas de clase con variables no deseadas plausibles e inspeccione las asociaciones fuertes.

Una asociación desigual es una señal diagnóstica, no la prueba de un sesgo perjudicial. Algunas correlaciones son genuinamente relevantes para la tarea; otras son artefactos de la recopilación. La cuestión importante es si la relación modifica el rendimiento en las condiciones en las que se espera que el sistema opere.

El análisis de cobertura puede volverse rápidamente inmanejable. Diez dimensiones, con varios valores cada una, pueden crear miles o millones de combinaciones teóricas, la mayoría de las cuales no requieren objetivos de recopilación individuales.

Priorice las dimensiones según su influencia prevista en el rendimiento del modelo, la frecuencia de despliegue, el costo de la falla, la consistencia de la medición y si el equipo puede actuar ante una brecha detectada. Una matriz de 30 celdas que modifica una decisión de recopilación es más útil que una matriz de 30.000 celdas que nadie mantiene.

La cobertura cambia cada vez que se agregan, eliminan, deduplican, vuelven a etiquetar, limpian o reasignan datos entre los conjuntos de entrenamiento y evaluación. Por tanto, cada informe de cobertura debería corresponder a una versión específica del conjunto de datos y ser reproducible a partir de metadatos estructurados siempre que sea posible.

La documentación de cobertura debe acompañar a la documentación más amplia del conjunto de datos en lugar de sustituirla. Enfoques como Datasheets for Datasets y el Data Cards Playbook ofrecen formas más amplias de registrar la motivación, composición, recopilación, procedencia, uso previsto, mantenimiento y otros aspectos del contexto del conjunto de datos. Una matriz de cobertura añade una pregunta operativa más concreta: ¿contiene esta versión suficiente evidencia para las situaciones que importan?

Los derechos, la concesión de licencias, la privacidad y la procedencia siguen requiriendo una revisión separada. La cobertura visual por sí sola no establece que los datos sean apropiados o estén permitidos para un uso particular.

Antes de construir la matriz, anota las reglas de medición. Una especificación breve evita que el denominador, el objetivo o la lógica de partición se desvíen a mitad del análisis.

• Ámbito de despliegue: Detección de peatones al aire libre en calles urbanas. Define qué condiciones pertenecen a la matriz.

• Ejes de cobertura: Iluminación × punto de vista × oclusión. Hace explícitas las intersecciones importantes.

• Unidad de evidencia: Sesión de captura única. Evita que fotogramas repetidos inflen la cobertura.

• Métrica por celda: Ejemplos utilizables y escenas únicas. Separa el volumen de la variación significativa.

• Objetivo: Mínimo definido por el proyecto por celda. Convierte los recuentos en criterios de aceptación.

• Estado: Adecuado / límite / insuficiente / vacío. Hace visible la priorización; los umbrales siguen siendo específicos del proyecto.

• Regla de división: Fuente: agrupar entrenamiento / validación / prueba cuando corresponda. Reduce la filtración entre ejemplos estrechamente relacionados.

• Versión del conjunto de datos: ID de versión y fecha del manifiesto. Hace que el análisis sea reproducible a lo largo del tiempo.

Una auditoría de cobertura simple para un archivo visual existente

Un primer análisis útil es comparar los conteos brutos de activos con evidencia independiente. Seleccione una muestra definida, agrupe archivos relacionados por escena o sesión de captura y calcule tanto las distribuciones marginales como un pequeño conjunto de intersecciones de alto valor.

Documente la definición de la muestra, la regla de agrupamiento, los ejes de cobertura, el manejo de casos ambiguos, el conteo bruto de archivos, el conteo de evidencia independiente y las intersecciones de alto valor más débiles. Si la auditoría se repite entre versiones del conjunto de datos, los equipos pueden comprobar si las celdas débiles realmente mejoraron en lugar de asumir que el crecimiento total equivale a una mejor cobertura.

Lista de verificación de cobertura para conjuntos de datos de visión por computadora

• Clases: ¿Están las clases importantes representadas con suficiente evidencia utilizable?

• Vistas: ¿Se cubren las vistas frontal, lateral, oblicua, elevada y otras requeridas?

• Iluminación: ¿Están representadas la poca luz, el contraluz, la luz artificial y la iluminación mixta?

• Escala: ¿Se incluyen casos cercanos, medios, distantes y de objetos pequeños?

• Oclusión: ¿Están representadas oclusiones parciales y severas?

• Entorno: ¿Se cubren ubicaciones de despliegue, fondos, condiciones meteorológicas y dispositivos?

• Calidad de imagen: ¿Se representan el desenfoque, la compresión, la exposición y las diferencias entre sensores cuando sea relevante?

• Independencia: ¿Están los conteos inflados por duplicados, fotogramas relacionados o escenas repetidas?

• Casos límite: ¿Se incluyen deliberadamente condiciones raras pero costosas?

• Evaluación: ¿Contiene el conjunto de prueba los subconjuntos difíciles que importan?

• Versionado: ¿Se puede reproducir el informe de cobertura para una versión específica del conjunto de datos?

¿Qué es una matriz de cobertura de un conjunto de datos?

Una matriz de cobertura de un conjunto de datos es una tabla o mapa de calor que mide qué tan bien un conjunto de datos representa combinaciones importantes de clases, condiciones, entornos y casos límite. Es más útil cuando cada celda tiene una unidad de evidencia claramente definida y un objetivo específico del proyecto en lugar de tratarse como un simple recuento de archivos.

¿Cómo se mide la cobertura de un conjunto de datos en visión por computadora?

Comience por las condiciones de despliegue: elija variables que puedan influir en el comportamiento del modelo, cuente intersecciones importantes utilizando ejemplos utilizables y lo suficientemente independientes, y compare esos conteos con los objetivos definidos por el proyecto. Los porcentajes o proporciones pueden facilitar la comparación de brechas, pero el denominador debe reflejar la tarea en lugar de una fórmula global arbitraria.

¿Cuál es la diferencia entre cobertura del conjunto de datos y diversidad del conjunto de datos?

La diversidad del conjunto de datos describe cuán variados son los ejemplos en general. La cobertura del conjunto de datos pregunta si esa variación incluye las condiciones específicas que requiere el despliegue previsto en cantidades suficientes. Por tanto, una colección puede ser diversa y aun así no cubrir un escenario operativo importante.

¿Cómo saber si un conjunto de datos de visión por computadora es representativo?

La representatividad depende del contexto de uso previsto. Compare el conjunto de datos con los sujetos, entornos, dispositivos, condiciones y escenarios operativos relevantes esperados en el despliegue, y luego documente las diferencias importantes. Los conjuntos de evaluación pueden sobrerrepresentar deliberadamente condiciones raras o de alto riesgo cuando se necesitan suficientes ejemplos para medir esos escenarios de forma fiable.

¿Cuántas imágenes necesita un conjunto de datos de visión por computadora?

No existe un número universal de imágenes. Los requisitos dependen de la dificultad de la tarea, el número de clases, la variación dentro de las clases, la calidad de las anotaciones, la independencia de los ejemplos, la variabilidad del despliegue, las elecciones de modelo y entrenamiento, y la precisión necesaria en la evaluación. Un enfoque práctico es definir objetivos iniciales de cobertura, entrenar y evaluar un modelo piloto, y luego ampliar la colección en torno a condiciones subrepresentadas y fallos observados.

¿Pueden el aumento de datos o los datos sintéticos corregir una brecha de cobertura?

A veces, pero ninguna de las dos es un sustituto automático de la evidencia del mundo real que falta. El aumento de datos puede añadir variación a partir de ejemplos que ya existen. Los datos sintéticos pueden ayudar a crear escenarios raros o controlados. Ambos deben juzgarse, en última instancia, por si mejoran el rendimiento en la tarea real prevista.

Trate la cobertura de datos visuales como un proceso vivo

Ningún conjunto de datos visual permanece completo para siempre. Los productos cambian, las cámaras se mueven, los entornos de despliegue se amplían y las fallas del modelo revelan variables que no eran obvias cuando se ensambló la colección original. Por lo tanto, la cobertura debe recalcularse a medida que cambian tanto el conjunto de datos como el sistema.

La mejor matriz de cobertura de un conjunto de datos no es la que tiene más dimensiones. Es la que cambia la siguiente decisión: qué recopilar, curar, etiquetar, reservar para evaluación o dejar de recopilar porque ya existe evidencia suficiente.

Cinco principios que conviene tener en cuenta:

✓ El equilibrio entre clases no es cobertura de condiciones.

✓ El recuento de archivos no es evidencia independiente.

✓ Una celda completa de la matriz aún puede contener datos de baja calidad.

✓ No se puede juzgar una brecha de cobertura sin un objetivo.

✓ La cobertura de entrenamiento y la cobertura de evaluación responden a preguntas diferentes.

Una vez que una celda débil es lo suficientemente específica como para describir — por ejemplo, montacargas vistos de lado con poca luz y oclusión parcial — puede convertirse en un requisito de adquisición en lugar de una solicitud vaga de más datos.

Un brief útil puede especificar el número requerido de escenas independientes, los entornos objetivo, los dispositivos o sensores permitidos, los requisitos sobre la fuente y los derechos, la separación entre entrenamiento y prueba y los criterios de aceptación.

Si los ejemplos requeridos ya existen en un archivo visual, una curaduría dirigida puede ser suficiente. Cuando dicha combinación está ausente, puede ser necesaria la recopilación de imágenes o vídeos del mundo real. Para proyectos que requieren obtención externa, los image and video datasets de Wavebreak Media pueden definirse en función de requisitos explícitos de sujeto, entorno, punto de vista, metadatos, división y cobertura, en lugar de una solicitud genérica de más archivos.

Definir esos requisitos antes de la selección o la captura facilita evaluar si un conjunto de datos entregado es realmente más amplio, más independiente y más útil, en lugar de simplemente más grande.