Prevenindo vazamentos entre treinamento e teste em bibliotecas profissionais de imagens e vídeos

Vazamento de dados em machine learning acontece quando informações que deveriam estar indisponíveis durante o desenvolvimento do modelo influenciam o treinamento, o pré-processamento, a seleção do modelo ou a avaliação. Isso pode fazer com que o desempenho na validação ou nos testes pareça melhor do que o desempenho no mundo real, porque a avaliação já foi comprometida.

Para equipes que constroem modelos usando conjuntos de dados de treinamento de IA, uma das formas de vazamento mais fáceis de passar despercebidas é a contaminação treino-teste por conteúdo visual relacionado. Diferentes nomes de arquivo e IDs de ativos ainda podem representar a mesma imagem em outra resolução, um recorte ou edição da mesma fonte, quadros adjacentes de uma gravação ou observações que compartilham uma identidade ou sessão de produção que deveriam permanecer ocultas.

A questão prática é a independência. Uma divisão de teste só é útil quando mede o tipo de generalização que o sistema precisará após a implantação, em vez de recompensar o modelo por ver uma versão intimamente relacionada da mesma fonte subjacente durante o treinamento.

Um ID de ativo não visto não significa necessariamente que a fonte visual também não tenha sido vista.

O vazamento de dados ocorre quando informações que deveriam permanecer fora do desenvolvimento do modelo afetam o modelo treinado ou as decisões usadas para construí-lo. O resultado costuma ser uma pontuação de avaliação que não representa o ambiente de implantação pretendido. Neste artigo, “data leakage” refere-se a um problema de avaliação de aprendizado de máquina, e não ao sentido da segurança cibernética de divulgação não autorizada de dados.

A contaminação entre treino e teste ocorre quando informações de treinamento passam para os dados de validação ou teste, ou vice‑versa. Registros exatamente duplicados são o exemplo mais simples, mas o mesmo problema pode surgir quando amostras nominalmente diferentes compartilham uma origem, identidade, sessão, sequência ou outra dependência que a avaliação deveria ter mantido fora.

O vazamento no pré-processamento ocorre quando uma transformação é aprendida usando informações de dados que deveriam ter permanecido reservados. Exemplos comuns incluem ajustar parâmetros de normalização, imputadores, seleção de características ou outro pré-processamento aprendido no conjunto de dados completo antes da avaliação, em vez de ajustá‑los apenas nos dados de treinamento.

O vazamento do alvo ocorre quando as entradas do modelo contêm informações sobre o desfecho que não estariam legitimamente disponíveis no momento em que a previsão é feita.

O foco principal aqui é a contaminação entre treino e teste em conjuntos de dados de imagens e vídeos: manter os dados de avaliação genuinamente independentes dos dados de treinamento, preservando ao mesmo tempo as relações necessárias para auditar essa fronteira.

O vazamento de dados também é diferente do sobreajuste comum. Um modelo pode sobreajustar-se a um conjunto de treinamento perfeitamente limpo. O vazamento compromete o próprio processo de avaliação, de modo que a métrica de teste reportada pode tornar‑se uma estimativa pouco confiável da generalização. Para uma discussão mais ampla desse problema em scientific machine learning, veja Kapoor and Narayanan’s Leakage and the reproducibility crisis in machine learning based science.

Isso é especialmente importante em conjuntos de dados de visão computacional, onde a unicidade no nível de arquivo não garante observações independentes. Imagens e vídeos podem estar fortemente relacionados mesmo quando cada nome de arquivo é diferente.

Uma biblioteca profissional de imagens pode conter a mesma fotografia em várias resoluções, versões derivadas, editadas ou não, fotografias tiradas com uma fração de segundo de diferença, ou vários ângulos da mesma pessoa ou produto em uma única sessão.

O vídeo adiciona mais relações. Uma gravação pode ser entregue como vários cortes, proporções de aspecto, codecs, resoluções ou clipes curtos. Um pipeline de extração de quadros pode então transformar uma gravação em milhares de imagens individuais.

Todos esses registros podem ter razões legítimas para existir separadamente em um catálogo de mídia. Isso não significa que devam ser automaticamente tratados como observações independentes em um experimento de aprendizado de máquina.

Para o desenho da avaliação, a questão relevante é se uma relação entre ativos torna o teste mais fácil do que o problema de implantação que o experimento afirma medir.

Uma separação limpa depende do que "não visto" deveria significar.

Não existe uma chave de agrupamento universalmente correta para conjuntos de dados visuais.

Uma divisão aleatória é razoável quando as amostras podem ser genuinamente tratadas como observações independentes da distribuição alvo. Os problemas começam quando os dados contêm uma dependência que é relevante para a afirmação que a avaliação pretende medir.

Escolha primeiro a unidade de divisão com base na afirmação de generalização e, então, aleatorize nessa unidade se a aleatorização for apropriada.

Ferramentas de validação que consideram o grupo implementam o mesmo princípio de forma computacional. Por exemplo, o GroupShuffleSplit do scikit-learn permite que as amostras compartilhem um rótulo de grupo, de modo que um grupo seja retido como uma unidade ao criar partições de treino e teste.

É útil distinguir três problemas, porque eles exigem evidências diferentes.

1. Duplicatas exatas

São arquivos idênticos byte a byte. Um hash criptográfico costuma ser suficiente. Se dois arquivos produzirem o mesmo hash forte de conteúdo, eles podem ser tratados como idênticos para fins ordinários de deduplicação de conjuntos de dados. Essa verificação é barata e, em geral, deve fazer parte do processo de ingestão ou do QA do conjunto de dados. É também o caso mais simples.

2. Variantes visuais quase duplicadas

Trata-se, essencialmente, da mesma observação após transformações como recompressão, redimensionamento, cortes modestos, ajuste de cor, rotação ou outra edição. O hashing por bytes não as identificará, porque os bytes subjacentes mudaram. O hash perceptual pode ser útil aqui, porque codifica aspectos da estrutura da imagem em uma assinatura compacta que pode ser comparada usando a distância de Hamming. Não deve ser tratado como um oráculo perfeito de duplicatas. Edições locais, cortes maiores, sobreposições ou transformações mais substanciais podem gerar falsos negativos, enquanto um limiar de distância frouxo pode agrupar imagens distintas. Os limiares devem ser testados com pares representativos da coleção real.

3. Amostras relacionadas ou dependentes

A categoria mais difícil não é, necessariamente, conteúdo duplicado. Duas fotografias podem mostrar a mesma pessoa a partir de pontos de vista diferentes. Dois clipes podem vir da mesma gravação, mas conter momentos distintos. Duas fotografias de um produto podem ser visualmente diferentes, embora compartilhem a mesma configuração de estúdio controlada. A recuperação de embeddings pode ajudar a revelar essas relações, porque representações aprendidas podem recuperar ativos visual ou semanticamente relacionados que hashes simples deixam escapar. Mas a similaridade é apenas uma evidência. Uma pontuação alta de similaridade de cosseno, por si só, não prova que dois registros pertençam ao mesmo grupo de vazamento. A decisão correta depende do modelo de embeddings, do limiar, dos metadados disponíveis, da linhagem da fonte e, mais importante, do objetivo da avaliação.

Ativos derivados atravessam a divisão

Uma fotografia original pode existir como um arquivo em resolução total, uma versão redimensionada, uma versão editada, um recorte ou uma reexportação.

O vídeo cria ainda mais relações derivadas: múltiplas codificações, recortes verticais e horizontais, extratos, pré-visualizações, versões aparadas e sequências de quadros.

Se os derivados receberem IDs de ativos independentes e a divisão for feita ao nível do ID, diferentes representações de uma mesma fonte podem aparecer no treinamento e no teste.

Sessões de captura atravessam a divisão

Uma sessão de fotos pode produzir dezenas ou centenas de quadros relacionados.

Se devem permanecer juntas, depende da tarefa. Se a avaliação pretende medir a generalização para novas sessões, distribuir aleatoriamente quadros de uma mesma sessão cria um teste irrealisticamente fácil. O mesmo vale para tomadas repetidas de uma filmagem de vídeo controlada.

Quadros de vídeo adjacentes atravessam a divisão

Quadros de vídeo são temporalmente correlacionados por construção. Se os quadros forem extraídos de forma densa e depois embaralhados independentemente, quadros separados por frações de segundo podem cair em partições diferentes. Para conjuntos de dados ao nível de quadro, preserve o vídeo de origem, a posição na sequência e o carimbo de tempo em vez de tratar cada imagem extraída como um exemplo não relacionado.

Dados relacionados chegam por várias coleções

Grandes bibliotecas de mídia costumam ser montadas ao longo do tempo. O mesmo conteúdo subjacente pode chegar por aquisições separadas ou existir tanto em um arquivo original quanto em uma coleção derivada posterior. Se a linhagem da fonte estiver incompleta, uma passagem de desduplicação por coleção pode não detectar a relação entre coleções.

A recuperação visual pode, portanto, ser útil em todo o corpus de candidatos, não apenas dentro de um único fornecedor ou pasta.

Benchmarks públicos se sobrepõem a conjuntos de treinamento

Um problema distinto surge quando os ativos de avaliação estão publicamente disponíveis e um modelo foi pré-treinado em grandes conjuntos externos.

Um estudo dos ICCV Workshops de 2025, Data Leakage in Visual Datasets, examinou a sobreposição dentro e entre conjuntos de dados visuais e usou recuperação de imagens para mostrar que todos os conjuntos analisados apresentavam alguma forma de vazamento; os autores também constataram que esse vazamento comprometia a confiabilidade das avaliações subsequentes.

Esse tipo de contaminação é mais difícil de descartar quando o avaliador não tem acesso ao conjunto de pré-treinamento de um modelo. Uma divisão limpa de ajuste fino, portanto, não prova que um benchmark público não foi visto durante o pré-treinamento.

Um fluxo de trabalho defensável começa por definir de que o conjunto de teste deve ser independente e, em seguida, preservar e auditar essas relações antes e depois da divisão final.

1. Defina a alegação de avaliação

Anote para o que se espera que o modelo generalize: novos arquivos, sessões de gravação, pessoas, locais, câmeras, períodos de tempo ou outro fator. Essa decisão determina quais relações devem permanecer isoladas.

2. Preserve a linhagem da fonte

Use as informações de produção existentes antes de tentar reconstruir todas as relações com visão computacional. Campos úteis podem incluir ID da fonte original, ID do derivado, ID de sessão ou filmagem, ID de gravação, colaborador ou fonte de aquisição, ID do participante ou sujeito quando apropriado e legalmente disponível, carimbos de data/hora e posição do frame, e relações de edição ou exportação. A linhagem frequentemente constitui evidência mais robusta de dependência do que a semelhança visual isolada.

3. Faça a impressão digital da coleção

Use uma auditoria em etapas. Comece com hashes criptográficos para identidade exata. Adicione hashes perceptuais onde duplicatas transformadas sejam plausíveis. Use recuperação por embeddings quando for necessária a busca por conteúdo quase duplicado ou relacionado. Em grande escala, um índice aproximado de vizinhos mais próximos pode recuperar candidatos vizinhos sem comparar exaustivamente cada par possível. Trate a similaridade como um sinal de triagem, não como uma decisão automática de agrupamento.

4. Construa grupos de forma conservadora

Não mescle automaticamente todo ativo conectado por qualquer aresta de similaridade. Se a imagem A é similar a B e B é similar a C, isso não prova que A e C devam compartilhar um mesmo grupo de avaliação. Decida quais relações são legitimamente transitivas. Combine metadados de origem, evidência visual e revisão manual para casos ambíguos. Inspecione clusters incomumente grandes, pois podem revelar um limiar excessivamente permissivo ou encadeamento semântico.

5. Atribua grupos, não registros individuais

Uma vez definidos os grupos relevantes, atribua grupos inteiros ao treinamento, validação ou teste. O grupo pode ser uma família de duplicatas exatas, gravação de origem, sessão de filmagem, participante, local ou outra unidade específica da tarefa. A randomização ainda pode ser usada; ela simplesmente ocorre na unidade apropriada.

6. Mantenha o pré-processamento aprendido dentro dos limites do treinamento

O agrupamento e a detecção de duplicatas fixas antes da atribuição da divisão não devem ser confundidos com ajustar uma transformação do modelo em todo o conjunto de dados. Uma vez estabelecidas as partições de avaliação, o pré-processamento que aprende parâmetros a partir dos dados deve ser ajustado usando apenas os dados de treinamento e então aplicado aos dados de validação ou teste, conforme apropriado. O conjunto de teste protegido não deve se tornar uma ferramenta iterativa de desenvolvimento de modelo.

7. Congele e versione o conjunto de avaliação

Uma divisão deve ser reprodutível. Mantenha um manifesto versionado contendo identificadores de ativos estáveis, identificadores de grupos, registros de exclusão, rótulos de referência e a atribuição da divisão. Se a biblioteca mudar, não altere o benchmark silenciosamente. Decida se uma nova aquisição pertence ao treinamento, a uma atualização de avaliação futura, ou a nenhum dos dois.

8. Audite a fronteira após a divisão

Depois que a divisão for criada, consulte os ativos de teste contra o índice de treinamento. Inspecione as correspondências mais fortes entre divisões e registre por que cada candidato é ou não considerado problemático. A auditoria é evidência de que a divisão foi verificada; um escore de similaridade por si só não é.

Saídas de auditoria úteis incluem:

• correspondências exatas entre divisões

• candidatos a quase duplicatas

• relações de origem compartilhada

• identidades compartilhadas, quando o isolamento de identidade for necessário

• sequência ou adjacência de frames

• tamanhos de clusters inesperados

• resultados de revisão manual

• limitações não resolvidas

O fluxo de trabalho prático costuma ser uma combinação, e não uma competição entre métodos. Um hash de bytes é barato o suficiente para ser amplamente utilizado. O hash perceptual fornece outra camada candidata, de baixo custo. A recuperação por embeddings pode encontrar relações que esses métodos deixam escapar. Os metadados da fonte podem então confirmar relações que apenas os pixels não conseguem estabelecer.

Conjuntos de dados de vídeo para treinamento de IA precisam de controles adicionais, porque uma única gravação de origem pode gerar muitos clipes altamente correlacionados ou milhares de quadros extraídos.

No mínimo, preserve uma hierarquia como: produção/sessão  - > gravação de origem  - > clipe derivado  - > quadro extraído.

Depois, decida qual nível é o limite de avaliação. Se vários clipes vêm da mesma gravação e o objetivo é a generalização para gravações não vistas, todos esses clipes devem permanecer juntos.

Se quadros forem extraídos, mantenha os carimbos de tempo e os IDs de origem. Não trate quadros amostrados densamente de forma independente e depois interprete os quadros retidos como observações de vídeo genuinamente novas.

Pessoas ou locais recorrentes exigem uma decisão separada. Se espera que o modelo generalize para indivíduos não vistos, a identidade é um fator de agrupamento. Se o produto em implantação operar explicitamente sobre um grupo conhecido de pessoas, a sobreposição de identidade pode ser apropriada. Novamente, a alegação de generalização determina o agrupamento.

As consequências não são hipotéticas. No artigo do CVPR 2026 Data Leakage Detection and De-duplication in Large Scale Geospatial Image Datasets, pesquisadores que estudaram o conjunto de dados AICrowd Mapping Challenge relataram que quase 90% (cerca de 250.000) das imagens de treino tinham cópias idênticas e que aproximadamente 56.000 das 60.000 imagens de validação também estavam presentes no treino, totalizando 93% de vazamento entre treino e validação.

Esse é um caso extremo, não uma estimativa geral para conjuntos de imagens. Seu valor está em mostrar como um benchmark pode parecer estruturalmente plausível enquanto contém redundância suficiente para tornar os resultados da avaliação enganosos.

Mais amplamente, o estudo de 2025 Data Leakage in Visual Datasets encontrou vazamento em todos os conjuntos de dados visuais que analisou e relatou que o vazamento, de casos severos a sutis, comprometeu a confiabilidade da avaliação subsequente.

O mesmo princípio aparece fora da visão computacional. O artigo de Kapoor e Narayanan de 2023 Patterns article on leakage and reproducibility, chega à mesma conclusão metodológica: quando várias amostras compartilham um paciente, família, gravação, bloco de tempo ou outra dependência que importa para o problema de predição, a avaliação deve respeitar essa dependência em vez de assumir independência ao nível da linha.

Antes do treinamento, o responsável pela avaliação deve ser capaz de responder a estas perguntas:

Uma boa auditoria não se limita a dizer que a desduplicação foi realizada. Ela informa qual relacionamento foi testado, como foi detectado, qual limiar ou regra de agrupamento foi usada e o que permanece incerto.

Compradores de conjuntos de dados de IA que avaliam dados de imagem ou dados de vídeo devem perguntar mais do que quantos ativos estão disponíveis. Devem perguntar o que o fornecedor pode preservar, excluir, agrupar e documentar para que a divisão final de avaliação corresponda à alegação de generalização pretendida.

• As relações entre fontes e derivados podem ser preservadas no manifesto de entrega?
• Identificadores de filmagem, sessão ou gravação estão disponíveis?
• Ativos de treinamento conhecidos podem ser fornecidos como lista de exclusão ou inventário de hashes?
• Como candidatos a duplicatas exatas e quase duplicatas são detectados?
• Como os limiares de similaridade foram validados?
• Quadros, clipes, pessoas, locais ou sequências de produção relacionados podem ser agrupados de acordo com nosso objetivo de avaliação?
• O fornecedor pode construir ou produzir uma nova coleção de avaliação retida?
• A divisão e as exclusões serão entregues sob um manifesto versionado?
• Que limitações impedem o fornecedor de afirmar que os dados de avaliação são completamente inéditos?

Para projetos de IA visual, essas perguntas costumam ser mais informativas do que uma contagem bruta de ativos.

O vazamento entre treino e teste não é fundamentalmente um problema de gestão de arquivos. É um problema de concepção de avaliação: a divisão deve proteger a relação que o modelo deve ser capaz de generalizar.

Um conjunto de dados pode conter nomes de arquivo únicos, IDs únicos e não possuir duplicados idênticos em bytes e, ainda assim, produzir um teste irrealisticamente fácil. Por outro lado, duas amostras visualmente semelhantes não constituem automaticamente vazamento se a informação que compartilham fizer parte da distribuição de implantação pretendida.

A questão útil, portanto, não é simplesmente se dois ativos parecem semelhantes. É se a informação atravessa uma fronteira de avaliação que o modelo deve provar ser capaz de generalizar.

Defina essa fronteira primeiro. Preserve a linhagem da fonte. Use hashes e métodos de recuperação para encontrar relações que os metadados deixam passar. Agrupe as amostras de acordo com a afirmação de avaliação real. Mantenha o pré-processamento aprendido e a seleção do modelo dentro da fronteira de treinamento. Em seguida, congele, registre as versões e audite o conjunto de teste resultante.

Uma divisão limpa é uma afirmação sobre independência, não sobre IDs de arquivos.