Ein 4K-Videodatensatz kann von wenigen Terabyte bis zu mehreren Petabyte reichen, da die Auflösung allein die Dateigröße nicht bestimmt. Bitrate und Laufzeit bestimmen die Größe des kodierten Quellmaterials, während Codec, Bildrate, Farbtiefe, gespeicherte Ausspielvarianten und Vorverarbeitung den Infrastrukturbedarf festlegen.
Für Teams, die AI training datasets aufbauen oder lizenzieren, ist diese Unterscheidung wichtig, bevor das Filmmaterial übertragen oder für das Training bereitgestellt wird. „10,000 hours of 4K“ beschreibt die visuelle Auflösung und die Laufzeit, sagt dem Infrastrukturteam jedoch nicht, ob das Quellpaket eher bei 100 TB, 500 TB oder mehreren Petabyte liegen wird.
Beginnen Sie mit der gemessenen Bitrate oder den GB pro Stunde, bestimmt anhand repräsentativer Dateien. Addieren Sie dann Arbeitsausspielvarianten, extrahierte Einzelbilder, Caches, temporären Verarbeitungsplatz, Backups und Archive, die gleichzeitig vorhanden sein werden. So trennt man die gelieferte Quelle vom tatsächlichen Arbeitsbedarf, den die Trainingspipeline verbrauchen wird.
Jen Togonon
