Un jeu de données vidéo 4K peut varier de quelques téraoctets à plusieurs pétaoctets, car la résolution seule ne détermine pas la taille des fichiers. Le débit binaire et la durée déterminent la taille de la source encodée, tandis que le codec, la fréquence d'images, la profondeur en bits, les versions conservées et le prétraitement influent sur l'empreinte sur l'infrastructure.
Pour les équipes qui construisent ou concèdent sous licence des ensembles de données d'entraînement pour l'IA, cette distinction compte avant que les séquences ne soient transférées ou préparées pour l'entraînement. « 10 000 heures de 4K » décrit la résolution visuelle et la durée, mais n'indique pas à une équipe d'infrastructure si le paquet source sera plutôt proche de 100 téraoctets, 500 téraoctets ou de plusieurs pétaoctets.
Commencez par le débit mesuré ou les Go par heure à partir de fichiers représentatifs. Ajoutez ensuite les versions de travail, les images extraites, les caches, l'espace temporaire de traitement, les sauvegardes et les archives qui coexisteront. Cela permet de séparer la source livrée de l'empreinte de travail que le pipeline d'entraînement consommera réellement.
Jen Togonon
