7zip realtime data

Hej!
Vi har en utmaning med att öppna filer som ni har använt 7-zip för i Koda-gränssnittet.

Hur kommer det sig att ni använder olika zip-format för olika filer (statiska filer har ett annat zip-format?

7-Zip stöds t ex inte av Azure data factory, men det för det andra formatet.

Henrik Modig

Kommentarer

  • Hej Henrik,

    Anledningen till detta är att GTFS-filerna är exakt som hur de sparades, de komprimerades alltså inte en gång till på Koda-servern. Det handlar också om relativt få data per dag.

    Realtidsdata däremot drar stora fördel från en bra komprimeringsformat. Vi har sett skillnader i filstorleken upp till 95% beroende på hur filerna komprimerades, och baserad på tester och egenskaper (prestanda och resursanvändning vid komprimering, dekomprimering, resulterande filstorlek, OS-stöd, ...) av olika algoritmer bestämde vi oss för att köra 7zip, som komprimerar väldigt bra, dekomprimerar snabbt, och stöds på alla operativsystem. Skillnaden med till exempel gzip var 15MB jämfört med 110MB.

    Jag kollade snabbt och det stämmer att Azure data factory inte har native stöd för detta, men det borde gå att använda 7zip ändå genom en liten workaround: https://azuredatageeks.com/2020/09/03/unzip-7z-files-using-azure-automation-runbooks-and-azure-data-factory/ .

    Hälsningar,
    Bert
    Bert på Trafiklab

Kommentera eller skriv ett nytt inlägg

Ditt namn och inlägg kan ses av alla. Din e-post visas aldrig publikt.