7zip realtime data
Hej!
Vi har en utmaning med att öppna filer som ni har använt 7-zip för i Koda-gränssnittet.
Hur kommer det sig att ni använder olika zip-format för olika filer (statiska filer har ett annat zip-format?
7-Zip stöds t ex inte av Azure data factory, men det för det andra formatet.
Vi har en utmaning med att öppna filer som ni har använt 7-zip för i Koda-gränssnittet.
Hur kommer det sig att ni använder olika zip-format för olika filer (statiska filer har ett annat zip-format?
7-Zip stöds t ex inte av Azure data factory, men det för det andra formatet.
Följ inlägget
0
följare
Anledningen till detta är att GTFS-filerna är exakt som hur de sparades, de komprimerades alltså inte en gång till på Koda-servern. Det handlar också om relativt få data per dag.
Realtidsdata däremot drar stora fördel från en bra komprimeringsformat. Vi har sett skillnader i filstorleken upp till 95% beroende på hur filerna komprimerades, och baserad på tester och egenskaper (prestanda och resursanvändning vid komprimering, dekomprimering, resulterande filstorlek, OS-stöd, ...) av olika algoritmer bestämde vi oss för att köra 7zip, som komprimerar väldigt bra, dekomprimerar snabbt, och stöds på alla operativsystem. Skillnaden med till exempel gzip var 15MB jämfört med 110MB.
Jag kollade snabbt och det stämmer att Azure data factory inte har native stöd för detta, men det borde gå att använda 7zip ändå genom en liten workaround: https://azuredatageeks.com/2020/09/03/unzip-7z-files-using-azure-automation-runbooks-and-azure-data-factory/ .
Hälsningar,
Bert