A mineração de negativos difíceis é o processo de encontrar exemplos negativos válidos que um modelo classifica como incomumente semelhantes ao alvo, verificando que são realmente negativos e proporcionando exposição controlada aos exemplos úteis durante o treinamento. Para equipes que constroem conjuntos de dados de treinamento de IA, é especialmente útil quando detectores de objetos disparam repetidamente em regiões de fundo ou em objetos não-alvo. Em classificação ou recuperação, a mesma ideia se aplica a exemplos de classe errada que ficam próximos à fronteira de decisão atual do modelo.
O objetivo não é coletar os erros mais estranhos nem substituir dados comuns de fundo. Trata-se de adicionar os contrastes específicos em que um modelo ainda erra em condições operacionais realistas. Um bom programa de negativos difíceis reduz falsos positivos recorrentes enquanto preserva recall, calibração e desempenho em classes não relacionadas.
Isso faz da mineração de negativos difíceis um problema de qualidade do conjunto de dados, além de uma técnica de treinamento. Os candidatos mais próximos da fronteira de decisão são também os locais onde tendem a se acumular rótulos ausentes, cenas duplicadas, definições de classe ambíguas e casos limítrofes incomuns. Portanto, mineração, revisão, desduplicação, amostragem e avaliação hold-out precisam funcionar como um único sistema.
O que é um hard negative?
Um exemplo negativo é um exemplo que não deve receber a predição-alvo. Para um classificador, ele pode pertencer a outra classe. Para um detector de objetos, pode ser uma região de fundo ou um objeto não-alvo atribuído como negativo pelas regras de correspondência e rotulagem desse detector.
Um negativo difícil é um negativo válido que o modelo atual considera difícil de classificar. Pode receber uma pontuação alta para a classe-alvo, aparecer próximo de uma correspondência verdadeira, ficar próximo a um embedding positivo ou desencadear repetidamente a mesma detecção falsa em condições de implantação.
A palavra "atual" é importante. A dificuldade é relativa ao modelo e pode mudar com a versão do modelo, o limiar de operação, a câmera, o pipeline de compressão, a geografia ou a estação. Um sinal reflexivo que engana um detector pode tornar-se trivial após o retreinamento, e então voltar a ser difícil após uma mudança de domínio.
Tipo de exemplo | O que significa | O que fazer |
|---|---|---|
Positivo | Contém o alvo, de acordo com a política de classe atual. | Use-o como supervisão positiva. |
Negativo fácil | Claramente não contém o alvo e é rejeitado com confiança. | Mantenha exemplos suficientes para representar o fundo comum e o conteúdo não relacionado ao alvo. |
Negativo difícil | Não contém o alvo, mas recebe uma pontuação alta para o alvo ou de outra forma compete fortemente com os positivos. | Verifique, identifique o mecanismo de confusão e use exposição controlada durante o treinamento. |
Negativo rotulado incorretamente | Na verdade, contém o alvo, mas está rotulado como negativo. | Corrija a anotação; não o treine como negativo. |
Exemplo ambíguo | Não pode ser rotulado de forma consistente, segundo a política atual. | Escalone a classe ou a regra de anotação antes de usá-lo. |
Um hard negative não é um erro de rotulagem
Um recorte que parece não conter capacete pode esconder um capacete minúsculo na borda. Uma região extraída como fundo pode sobrepor-se a um objeto não rotulado. A imagem de um produto pode mostrar uma foto do alvo na embalagem, o que levanta uma questão de política: a tarefa conta representações, instâncias físicas ou ambas?
Um verdadeiro hard negative diz, “isto é convincentemente parecido com o alvo, mas a resposta correta é não.” Um negativo mal rotulado diz, “a resposta correta é sim, mas o conjunto de dados diz não.” O primeiro pode melhorar a fronteira. O segundo cria supervisão contraditória, e o dano é amplificado se o exemplo for sobreamostrado porque parece difícil.
Os avaliadores devem ver o quadro inteiro sempre que possível, e não apenas o recorte extraído. Eles também precisam da definição da classe, das regras de sobreposição, das exclusões e de um resultado ambíguo explícito para que a incerteza não seja silenciosamente convertida em supervisão negativa.
Como o Hard Negative Mining reduz falsos positivos
Grandes conjuntos de dados de imagens e coleções de vídeo contêm um número enorme de negativos fáceis. A maioria dos pixels na estrada não corresponde a pedestres; a maioria das áreas do armazém não corresponde a empilhadeiras; a maioria dos produtos do catálogo não é o SKU-alvo. Esses exemplos continuam importantes porque definem o amplo mundo que o modelo encontrará, mas mostrar repetidamente exemplos que o modelo já rejeita fornece menos sinal corretivo do que apresentar um confundidor recorrente.
A mineração de negativos difíceis concentra a pressão do treinamento nas distinções locais que causam falsos positivos. O modelo vê um objeto não-alvo, textura, contexto ou padrão parcial que antes parecia positivo e recebe evidência explícita de que esse indício não é suficiente por si só.
Negativos mais difíceis não são automaticamente melhores. Um fluxo dominado por negativos próximos à fronteira pode reduzir as pontuações globalmente, suprimir positivos difíceis ou sobreajustar uma galeria finita de erros. A pergunta útil não é “quantos negativos difíceis podemos adicionar?” mas “quais famílias de erros recorrentes precisam de mais contraste, e quanta exposição as melhora sem comprometer as salvaguardas?”
Mineração de negativos difíceis versus OHEM, focal loss e aprendizado ativo
Jen Togonon
