Prevención de la filtración entre los conjuntos de entrenamiento y de prueba en bibliotecas profesionales de imágenes y vídeo

La filtración de datos en aprendizaje automático ocurre cuando información que debería estar inaccesible durante el desarrollo del modelo influye en el entrenamiento, el preprocesamiento, la selección del modelo o la evaluación. Puede hacer que el rendimiento en validación o en pruebas parezca mejor que el rendimiento en el mundo real porque el conjunto de evaluación ya se ha visto comprometido.

Para los equipos que construyen modelos con conjuntos de datos de entrenamiento de IA, una de las formas de filtración más fáciles de pasar por alto es la contaminación entre los conjuntos de entrenamiento y de prueba por contenido visual relacionado. Diferentes nombres de archivo e identificadores de activos aún pueden representar la misma imagen en otra resolución, un recorte o edición de la misma fuente, fotogramas adyacentes de una grabación, u observaciones que comparten la misma identidad o una sesión de producción que se suponía debía mantenerse oculta.

El problema práctico es la independencia. Un conjunto de prueba solo es útil cuando mide el tipo de generalización que el sistema necesitará tras su despliegue, en lugar de premiar al modelo por haber visto durante el entrenamiento una versión muy relacionada de la misma fuente subyacente.

Un identificador de activo no visto no significa necesariamente una fuente visual desconocida.

La filtración de datos ocurre cuando la información que debería permanecer fuera del desarrollo del modelo afecta al modelo entrenado o a las decisiones utilizadas para construirlo. El resultado suele ser una puntuación de evaluación que no representa el entorno de despliegue previsto. En este artículo, “filtración de datos” se refiere a un problema de evaluación en aprendizaje automático, no al uso que tiene en ciberseguridad, donde significa la divulgación no autorizada de datos.

La contaminación entre entrenamiento y prueba ocurre cuando la información de entrenamiento se filtra hacia los datos de validación o de prueba, o viceversa. Los registros exactamente duplicados son el ejemplo más simple, pero el mismo problema puede surgir cuando muestras nominalmente diferentes comparten una fuente, identidad, sesión, secuencia u otra dependencia que la evaluación debería haber excluido.

La filtración durante el preprocesamiento ocurre cuando una transformación se aprende usando información de los datos que debería haberse mantenido excluida. Ejemplos comunes incluyen el ajuste de los parámetros de normalización, de los métodos de imputación, de la selección de características u de otro preprocesamiento aprendido sobre el conjunto de datos completo antes de la evaluación, en lugar de ajustarlos solo con los datos de entrenamiento.

La filtración de la variable objetivo ocurre cuando las entradas del modelo contienen información sobre el resultado que legítimamente no estaría disponible cuando se realiza la predicción.

El foco principal aquí es la contaminación entre entrenamiento y prueba en conjuntos de datos de imágenes y vídeo: mantener los datos de evaluación genuinamente independientes de los datos de entrenamiento mientras se preservan las relaciones necesarias para auditar ese límite.

La filtración de datos también es diferente del sobreajuste ordinario. Un modelo puede sobreajustar un conjunto de entrenamiento perfectamente limpio. La filtración compromete la propia frontera de evaluación, por lo que la métrica de prueba reportada puede convertirse en una estimación poco fiable de la generalización. Para una discusión más amplia de este problema en la ciencia basada en aprendizaje automático, véase Kapoor and Narayanan’s Leakage and the reproducibility crisis in machine learning based science.

Esto es especialmente importante en conjuntos de datos de visión por computadora, donde la unicidad a nivel de archivo no garantiza observaciones independientes. Las imágenes y los vídeos pueden estar estrechamente relacionados incluso cuando cada nombre de archivo es distinto.

Una biblioteca profesional de imágenes puede contener una misma fotografía en varias resoluciones, derivados (editados y sin editar), fotografías tomadas con una fracción de segundo de diferencia, o muchos ángulos de la misma persona o producto de una misma sesión.

El vídeo añade más relaciones. Una grabación puede entregarse en varios recortes, relaciones de aspecto, códecs, resoluciones o clips cortos. Un proceso de extracción de fotogramas puede entonces convertir una sola grabación en miles de imágenes individuales.

Estos registros pueden tener razones legítimas para existir por separado en un catálogo de medios. Eso no significa que deban tratarse automáticamente como observaciones independientes en un experimento de aprendizaje automático.

Para el diseño de la evaluación, la pregunta relevante es si una relación entre los activos hace que la prueba sea más fácil que el problema de despliegue que el experimento pretende medir.

Una partición limpia depende de lo que se supone que significa "no visto".

No existe una clave de agrupamiento universalmente correcta para conjuntos de datos visuales.

Una partición aleatoria es razonable cuando las muestras pueden tratarse genuinamente como observaciones independientes de la distribución objetivo. Los problemas surgen cuando los datos contienen una dependencia que es relevante para la afirmación de la evaluación.

Elija primero la unidad de partición en función de la afirmación de generalización; luego realice la aleatorización en esa unidad si procede.

Las herramientas de validación que tienen en cuenta los grupos implementan computacionalmente el mismo principio. Por ejemplo, GroupShuffleSplit permite que las muestras compartan una etiqueta de grupo, de modo que un grupo se deje fuera como una unidad al crear particiones de entrenamiento y prueba.

Es útil distinguir tres problemas porque requieren pruebas diferentes.

1. Duplicados exactos

Estos son archivos idénticos a nivel de bytes. Un hash criptográfico fuerte suele ser suficiente. Si dos archivos generan el mismo hash, pueden tratarse como idénticos para fines ordinarios de deduplicación del conjunto de datos. Esta verificación es barata y, por lo general, debería formar parte del proceso de ingestión o del control de calidad del conjunto de datos. También es el caso más sencillo.

2. Variantes visuales casi duplicadas

Se trata esencialmente de la misma observación tras transformaciones como recompresión, cambio de tamaño, recortes modestos, ajuste de color, rotación u otra edición. El hash a nivel de bytes no las detectará porque los bytes subyacentes han cambiado. El hash perceptual puede ser útil aquí porque codifica aspectos de la estructura de la imagen en una firma compacta que puede compararse usando la distancia de Hamming. No debe considerarse un oráculo perfecto de duplicados. Ediciones locales, recortes más grandes, superposiciones o transformaciones más sustanciales pueden producir falsos negativos, mientras que un umbral de distancia laxo puede agrupar imágenes distintas. Los umbrales deben probarse con pares representativos de la colección real.

3. Muestras relacionadas o dependientes

La categoría más difícil no es necesariamente contenido duplicado en absoluto. Dos fotografías pueden mostrar a la misma persona desde distintos puntos de vista. Dos clips pueden provenir de la misma grabación pero contener momentos diferentes. Dos fotografías de un producto pueden ser visualmente distintas mientras comparten el mismo montaje de estudio controlado. La recuperación mediante embeddings puede ayudar a sacar a la luz estas relaciones porque las representaciones aprendidas pueden recuperar elementos visuales o semánticamente relacionados que los hashes simples no detectan. Pero la similitud es solo evidencia. Una puntuación alta de similitud de coseno por sí sola no demuestra que dos registros pertenezcan al mismo grupo de filtrado. La decisión correcta depende del modelo de embeddings, del umbral, de los metadatos disponibles, del linaje de la fuente y, lo más importante, del objetivo de evaluación.

Los activos derivados atraviesan la partición

Una fotografía fuente puede existir como un archivo de resolución completa, una entrega redimensionada, una versión editada, un recorte o una reexportación.

El vídeo crea aún más relaciones derivadas: múltiples codificaciones, recortes verticales y horizontales, extractos, vistas previas, versiones recortadas y secuencias de fotogramas.

Si los derivados reciben identificadores de activos independientes y la partición se realiza a nivel de ID, distintas representaciones de una misma fuente pueden aparecer en el entrenamiento y en la prueba.

Las sesiones de captura atraviesan la partición

Una sesión fotográfica puede producir decenas o cientos de fotogramas relacionados.

Si deben mantenerse juntas, depende de la tarea. Si la evaluación pretende medir la generalización a nuevas sesiones, entonces distribuir aleatoriamente fotogramas de una misma sesión crea una prueba irrealísticamente fácil. Lo mismo se aplica a tomas repetidas de una grabación de vídeo controlada.

Los fotogramas adyacentes de vídeo atraviesan la partición

Los fotogramas de vídeo están correlacionados temporalmente por construcción. Si se extraen fotogramas de forma densa y luego se barajan de manera independiente, fotogramas separados por una fracción de segundo pueden acabar en particiones distintas. Para conjuntos de datos a nivel de fotograma, preserva el vídeo fuente, la posición en la secuencia y la marca temporal en lugar de tratar cada imagen extraída como un ejemplo no relacionado.

Los datos relacionados llegan a través de múltiples colecciones

Grandes bibliotecas de medios suelen ensamblarse con el tiempo. El mismo contenido subyacente puede llegar mediante adquisiciones separadas o existir tanto en un archivo original como en una colección derivada posterior. Si la procedencia de la fuente está incompleta, una pasada de desduplicación por colección puede no detectar la relación entre colecciones.

Por tanto, la recuperación visual puede ser útil en todo el corpus candidato, no solo dentro de un proveedor o carpeta.

Los benchmarks públicos se solapan con los corpus de entrenamiento

Surge un problema adicional cuando los activos de evaluación están disponibles públicamente y un modelo ha sido preentrenado en grandes corpus externos.

Un estudio en los ICCV Workshops de 2025, titulado Data Leakage in Visual Datasets, examinó el solapamiento dentro y entre conjuntos de datos visuales y utilizó la recuperación de imágenes para mostrar que todos los conjuntos analizados presentaban alguna forma de filtración; los autores también encontraron que dicha filtración comprometía la fiabilidad de la evaluación posterior.

Este tipo de contaminación es más difícil de descartar cuando el evaluador no tiene acceso al corpus de preentrenamiento de un modelo. Por tanto, una partición limpia para el ajuste fino no demuestra que un benchmark público no fuera visto durante el preentrenamiento.

Un flujo de trabajo defendible comienza por definir de qué debe ser independiente el conjunto de prueba, y luego preservar y auditar esas relaciones antes y después de la partición final.

1. Definir la afirmación de evaluación

Escriba a qué se espera que el modelo generalice: archivos nuevos, sesiones de grabación, personas, ubicaciones, cámaras, períodos de tiempo u otro factor. Esa decisión determina qué relaciones deben permanecer aisladas.

2. Preservar la procedencia de la fuente

Utilice la información de producción existente antes de intentar reconstruir cada relación con visión por computadora. Los campos útiles pueden incluir ID de fuente original, ID de derivado, ID de sesión o rodaje, ID de grabación, contribuyente o fuente de adquisición, ID de participante o sujeto cuando sea apropiado y legalmente disponible, marcas temporales y posición de fotograma, y relaciones de edición o exportación. La procedencia suele ser una evidencia de dependencia más sólida que la similitud visual por sí sola.

3. Fingerprint de la colección

Realice una auditoría por etapas. Comience con hashes criptográficos para la identidad exacta. Añada hashes perceptuales cuando haya duplicados transformados plausibles. Use recuperación por embeddings cuando se necesite buscar contenido casi duplicado o relacionado. A gran escala, un índice aproximado de los vecinos más cercanos puede recuperar vecinos candidatos sin comparar exhaustivamente cada par posible. Trate la similitud como una señal de cribado, no como una decisión automática de agrupamiento.

4. Construir grupos de manera conservadora

No fusione automáticamente cada activo conectado por cualquier arista de similitud. Si la imagen A es similar a B y B es similar a C, eso no demuestra que A y C deban compartir un mismo grupo de evaluación. Decida qué relaciones son legítimamente transitivas. Combine metadatos de fuente, evidencia visual y revisión manual en los casos ambiguos. Inspeccione clústeres inusualmente grandes porque pueden revelar un umbral excesivamente permisivo o encadenamiento semántico.

5. Asignar grupos, no registros individuales

Una vez definidos los grupos relevantes, asigne grupos completos al entrenamiento, a la validación o a la prueba. El grupo puede ser una familia de duplicados exactos, la grabación fuente, el rodaje, el participante, la ubicación u otra unidad específica de la tarea. La aleatorización puede seguir usándose; simplemente ocurre en la unidad apropiada.

6. Mantener el preprocesamiento aprendido dentro del límite de entrenamiento

La agrupación y la detección fija de duplicados antes de la asignación de particiones no deben confundirse con ajustar una transformación de modelo usando todo el conjunto de datos. Una vez establecidas las particiones de evaluación, el preprocesamiento que aprende parámetros a partir de los datos debe ajustarse utilizando únicamente los datos de entrenamiento y luego aplicarse a los datos de validación o prueba según corresponda. El conjunto de prueba protegido no debe convertirse en una herramienta iterativa de desarrollo de modelos.

7. Congelar y versionar el conjunto de evaluación

Una partición debe ser reproducible. Mantenga un manifiesto versionado que contenga identificadores de activos estables, identificadores de grupo, registros de exclusión, etiquetas de referencia y la asignación de particiones. Si la biblioteca cambia, no modifique silenciosamente el benchmark. Decida si una nueva adquisición pertenece al entrenamiento, a una actualización futura de evaluación o a ninguno de los dos.

8. Auditar el límite después de la partición

Después de crear la partición, compare los activos de prueba con el índice de entrenamiento. Inspeccione las coincidencias más fuertes entre particiones y registre por qué cada candidato se considera o no problemático. La auditoría es evidencia de que la partición fue revisada; una puntuación de similitud por sí sola no lo es.

Resultados de auditoría útiles incluyen:

• coincidencias exactas entre particiones

• candidatos casi duplicados

• relaciones de fuente compartida

• identidades compartidas cuando se requiere aislamiento de identidades

• secuencia o adyacencia de fotogramas

• tamaños de clúster inesperados

• resultados de revisión manual

• limitaciones sin resolver

El flujo de trabajo práctico suele ser una combinación de métodos más que una competencia entre ellos. Un hash de bytes es lo bastante barato como para usarse ampliamente. El hashing perceptual aporta otra capa, igualmente económica. La recuperación mediante embeddings puede encontrar relaciones que esos métodos pasan por alto. Los metadatos de la fuente pueden entonces confirmar relaciones que los píxeles por sí solos no pueden establecer.

Conjuntos de datos de vídeo para el entrenamiento de IA necesitan controles adicionales porque una sola grabación de origen puede producir muchos clips altamente correlacionados o miles de fotogramas extraídos .

Como mínimo, preserve la siguiente jerarquía: producción/sesión  - > grabación de origen  - > clip derivado  - > fotograma extraído.

Luego decida qué nivel será el límite de evaluación. Si varios clips provienen de la misma grabación y el objetivo es la generalización a grabaciones no vistas, todos esos clips deben mantenerse juntos.

Si se extraen fotogramas, conserve las marcas de tiempo y los identificadores (IDs) de origen. No divida de forma independiente fotogramas muestreados de manera densa y luego interprete los fotogramas retenidos como observaciones de vídeo realmente nuevas.

Las personas o ubicaciones recurrentes requieren una decisión aparte. Si se espera que el modelo se generalice a individuos no vistos, la identidad es un factor de agrupamiento. Si el producto desplegado opera explícitamente sobre un grupo conocido de personas, la superposición de identidades puede ser apropiada. Nuevamente, la afirmación de generalización determina el agrupamiento.

Las consecuencias no son hipotéticas. En el artículo de CVPR 2026 Data Leakage Detection and De - duplication in Large Scale Geospatial Image Datasets, los investigadores que estudiaron el conjunto de datos AICrowd Mapping Challenge informaron que casi el 90% (alrededor de 250.000) de las imágenes de entrenamiento tenían copias idénticas y que aproximadamente 56.000 de las 60.000 imágenes de validación también estaban presentes en el entrenamiento, equivalente a un 93% de filtración entre entrenamiento y validación.

Ese es un caso extremo, no una estimación general para los conjuntos de imágenes. Su valor radica en mostrar cómo un benchmark puede parecer estructuralmente plausible mientras contiene suficiente redundancia como para que los resultados de la evaluación sean engañosos.

Más ampliamente, el estudio Data Leakage in Visual Datasets de 2025 encontró filtraciones en todos los conjuntos de datos visuales que analizó y reportó que dichas filtraciones, desde casos graves hasta sutiles, comprometían la fiabilidad de la evaluación posterior.

El mismo principio aparece fuera de la visión por computador. El artículo de 2023 de Kapoor y Narayanan en Patterns article on leakage and reproducibility llega a la misma conclusión metodológica: cuando múltiples muestras comparten un paciente, una familia, una grabación, un bloque temporal u otra dependencia relevante para el problema de predicción, la evaluación debe respetar esa dependencia en lugar de asumir independencia a nivel de fila.

Antes del entrenamiento, el responsable de la evaluación debería poder responder a las siguientes preguntas:

Una buena auditoría no se limita a decir que se realizó la deduplicación. Informa qué relación se probó, cómo se detectó, qué umbral o regla de agrupación se utilizó y qué permanece incierto.

Los compradores de conjuntos de datos de IA que evalúan imágenes o datos de vídeo deberían preguntar algo más que cuántos activos están disponibles. Deberían preguntar qué puede conservar, excluir, agrupar y documentar el proveedor para que la división final de la evaluación coincida con la afirmación de generalización prevista.

• ¿Pueden preservarse en el manifiesto de entrega las relaciones entre la fuente y sus derivados?
• ¿Están disponibles identificadores de rodaje, sesión o grabación?
• ¿Pueden suministrarse los activos de entrenamiento conocidos como una lista de exclusión o un inventario de hashes?
• ¿Cómo se detectan los candidatos exactos y casi duplicados?
• ¿Cómo se validaron los umbrales de similitud?
• ¿Pueden agruparse los fotogramas relacionados, clips, personas, ubicaciones o secuencias de producción según nuestro objetivo de evaluación?
• ¿Puede el proveedor construir o producir una nueva colección de evaluación reservada?
• ¿Se entregarán la división y las exclusiones bajo un manifiesto versionado?
• ¿Qué limitaciones impiden que el proveedor afirme que los datos de evaluación son completamente inéditos?

Para proyectos de IA visual, esas preguntas suelen ser más informativas que un simple recuento de activos.

La filtración entre entrenamiento y prueba no es fundamentalmente un problema de gestión de archivos. Es un problema de diseño de evaluación: la partición debe proteger la relación que el modelo debería ser capaz de generalizar fuera de los datos de entrenamiento.

Un conjunto de datos puede contener nombres de archivos únicos, IDs únicos y no tener duplicados idénticos a nivel de bytes, y aun así producir una prueba irrealmente fácil. Por el contrario, dos muestras visualmente similares no constituyen automáticamente una filtración si la información que comparten forma parte de la distribución de despliegue prevista.

La pregunta útil, por tanto, no es simplemente si dos activos se parecen, sino si la información atraviesa una frontera de evaluación que el modelo debe demostrar que puede generalizar.

Define esa frontera primero. Preserva la trazabilidad del origen. Usa hashes y métodos de recuperación para encontrar relaciones que los metadatos no detectan. Agrupa las muestras según la afirmación real de evaluación. Mantén el preprocesamiento aprendido y la selección de modelo dentro de la frontera de entrenamiento. Luego congela, versiona y audita el conjunto de prueba resultante.

Una separación limpia es una afirmación sobre independencia, no sobre los IDs de los archivos.