Um conjunto de dados de vídeo 4K pode variar de alguns terabytes a vários petabytes, porque apenas a resolução não determina o tamanho do arquivo. A taxa de bits e a duração determinam o tamanho do arquivo de origem codificado, enquanto o codec, a taxa de quadros, a profundidade de bits, as versões retidas e o pré-processamento definem a pegada de infraestrutura.
Para equipes que constroem ou licenciam conjuntos de dados de treinamento de IA, essa distinção importa antes que as filmagens sejam transferidas ou preparadas para treinamento. “10.000 horas de 4K” descreve a resolução visual e o tempo de execução, mas não informa a uma equipe de infraestrutura se o pacote de origem estará mais próximo de 100 TB, 500 TB ou de vários petabytes.
Comece pela taxa de bits medida ou pelos GB por hora obtidos a partir de arquivos representativos. Em seguida, some as versões de trabalho, os quadros extraídos, os caches, o espaço temporário de processamento, os backups e os arquivos de arquivamento que coexistirão. Isso separa o arquivo de origem entregue da pegada de trabalho que o pipeline de treinamento realmente consumirá.
Jen Togonon
