invariantify kijkt naar de structuur in uw data voordat het kiest hoe die gecomprimeerd wordt. Verschillende data comprimeert verschillend, dus we meten per domein en publiceren de resultaten hieronder, inclusief het slechtste.
| Nr. | Datadomein | Gemeten resultaat | Opmerking |
|---|---|---|---|
| 01 | Gestructureerde data (JSON) | 17,3× | Volledige 912 MB GitHub Archive-dump, geen steekproef |
| 02 | Back-ups en versiegeschiedenis | 71,4× | Reeks van 20 back-up-versies, cross-file dedup |
| 03 | t.o.v. zstd, xz, bzip2, brotli (max-niveau) | 0 verliezen | 45 winsten, 20 gelijkspel over 65 echte bestanden; tot 1,75× scherper op het beste geval |
| 04 | Documenten (PDF) | 3,8–6,2× | Varieert met hoeveel van de PDF al gecomprimeerde beelddata is |
| 05 | Logbestanden (Apache, HDFS, Linux, OpenSSH, Spark, Zookeeper, HealthApp) | 12,3–56,6× | 7 echte productie-logformaten uit de LogHub-benchmarkset |
| 06 | Reeds gecomprimeerde binaire media (JPEG, PNG) | 1,0× | De ondergrens. Gemeten op alle 24 Kodak-referentiebeelden. Gecomprimeerde data laat niets te winnen. |
Alle waarden zijn gemeten, niet geprojecteerd, per run gelogd. Rij 06 is het slechtste geval en staat er bewust op.
| Bestand | Origineel | invariantify | Ratio | Beste van zstd/xz/bzip2/brotli |
|---|---|---|---|---|
| bib | 111.261 | 22.745 | 4,89× | 4,05× (bzip2) |
| book1 | 768.771 | 204.277 | 3,76× | 3,30× (bzip2) |
| book2 | 610.856 | 134.552 | 4,54× | 3,88× (bzip2) |
| geo | 102.400 | 48.149 | 2,13× | 2,12× (brotli) |
| news | 377.109 | 99.775 | 3,78× | 3,34× (brotli) |
| obj1 | 21.504 | 9.357 | 2,30× | 2,30× (brotli) |
| obj2 | 246.814 | 61.472 | 4,02× | 4,02× (xz) |
| paper1 | 53.161 | 13.161 | 4,04× | 3,44× (brotli) |
| paper2 | 82.199 | 20.322 | 4,04× | 3,31× (brotli) |
| paper3 | 46.526 | 12.214 | 3,81× | 3,17× (brotli) |
| paper4 | 13.286 | 3.655 | 3,64× | 3,09× (brotli) |
| paper5 | 11.954 | 3.661 | 3,27× | 2,92× (brotli) |
| paper6 | 38.105 | 9.669 | 3,94× | 3,42× (brotli) |
| pic | 513.216 | 33.909 | 15,14× | 15,14× (bzip2) |
| progc | 39.611 | 9.905 | 4,00× | 3,40× (brotli) |
| progl | 71.646 | 12.037 | 5,95× | 5,11× (brotli) |
| progp | 49.379 | 8.572 | 5,76× | 4,99× (brotli) |
| trans | 93.695 | 13.450 | 6,97× | 6,08× (brotli) |
| Bestand | Origineel | invariantify | Ratio | Beste van zstd/xz/bzip2/brotli |
|---|---|---|---|---|
| alice29.txt | 152.089 | 35.751 | 4,25× | 3,52× (bzip2) |
| asyoulik.txt | 125.179 | 33.369 | 3,75× | 3,16× (bzip2) |
| cp.html | 24.603 | 6.189 | 3,98× | 3,56× (brotli) |
| fields.c | 11.150 | 2.268 | 4,92× | 4,08× (brotli) |
| grammar.lsp | 3.721 | 1.012 | 3,68× | 3,26× (brotli) |
| kennedy.xls (spreadsheet) | 1.029.744 | 26.706 | 38,56× | 38,56× (bzip2) |
| lcet10.txt | 426.754 | 90.473 | 4,72× | 3,96× (bzip2) |
| plrabn12.txt | 481.861 | 129.378 | 3,72× | 3,31× (bzip2) |
| ptt5 (faxscan) | 513.216 | 33.909 | 15,14× | 15,14× (bzip2) |
| sum | 38.240 | 9.516 | 4,02× | 4,02× (xz) |
| xargs.1 | 4.227 | 1.307 | 3,23× | 2,86× (brotli) |
| Bestand | Origineel | invariantify | Ratio | Beste van zstd/xz/bzip2/brotli |
|---|---|---|---|---|
| reymont (Silesia-corpus, Poolse roman) | 6.627.202 | 1.068.830 | 6,20× | 5,34× (bzip2) |
| attention.pdf (openbaar arXiv-paper) | 2.215.244 | 584.284 | 3,79× | 3,79× (xz, gelijkspel) |
| Bestand | Origineel | invariantify | Ratio | Beste van zstd/xz/bzip2/brotli |
|---|---|---|---|---|
| Apache_2k.log | 171.239 | 3.025 | 56,61× | 34,14× (zstd) |
| OpenSSH_2k.log | 225.216 | 5.162 | 43,63× | 30,68× (xz) |
| Linux_2k.log | 216.485 | 6.632 | 32,64× | 26,77× (zstd) |
| Spark_2k.log | 196.268 | 6.611 | 29,69× | 27,93× (xz) |
| HealthApp_2k.log | 187.456 | 7.252 | 25,85× | 20,16× (xz) |
| Zookeeper_2k.log | 279.891 | 11.274 | 24,83× | 18,85× (bzip2) |
| HDFS_2k.log | 287.848 | 23.317 | 12,35× | 10,24× (zstd) |
| Bestand | Origineel | invariantify | Ratio | Beste van zstd/xz/bzip2/brotli |
|---|---|---|---|---|
| kodim01–24.png (alle 24 Kodak-referentiebeelden, identiek resultaat) | 736.501 gem. | 736.517 gem. | 1,0000× | ≤1,00× (niets comprimeert het ook) |
| kodim01/05/12/18.jpg (4 afgeleide JPEG's, identiek resultaat) | 182.274 gem. | 182.290 gem. | 0,9999× | ≤1,00× (niets comprimeert het ook) |
Petabytes aan gebruikersbestanden en artefacten, meestal gestructureerd of repetitief. Over 65 echte bestanden op max-instellingen verloor invariantify nooit van standalone zstd, xz, bzip2 of brotli — overstappen is dus nooit een nadeel, zelfs op bestanden die die tools al goed aankunnen.
Versiegeschiedenis is de meest redundante data die er is; daarom is het ons beste gemeten resultaat met 71,4× op een reeks van 20 back-up-versies. Langere retentie in dezelfde footprint, en restores verplaatsen minder data.
JSON-events zijn sterk gestructureerd, gemeten op 17,3× op een volledige dump van 912 MB, geen gunstige steekproef. Applicatielogs zijn nog repetitiever: tot 56,6× op echte Apache-logs. Goed comprimeren verlaagt zowel de opslag- als de egress-rekening, op elke plek waar de data staat of beweegt.
Op reeds gecomprimeerde binaire media zoals JPEG en PNG meet invariantify 1,0×, over alle 24 beelden uit de standaard Kodak-referentieset. Dat is de eerlijke ondergrens, en die staat op deze pagina omdat een benchmarktabel zonder slechtste geval een advertentie is, geen meting. PDF’s bleken hier niet bij te horen: twee echte documenten die we testten kwamen op 3,8× en 6,2× uit, omdat de eigen structuur van een PDF veel meer varieert dan bij een al-DCT-gecomprimeerde afbeelding. Als uw data grotendeels echt al-gecomprimeerde pixels is, zeggen we dat de winst bescheiden is voordat u een dag aan integratie besteedt.
zstd en xz zijn uitstekende algemene compressors en dat ontkennen we niet. invariantify verschilt op één punt dat we kunnen noemen zonder de methode prijs te geven: het kijkt naar de structuur in uw data voordat het kiest hoe te comprimeren, en toetst die keuze vervolgens alsnog aan zstd, xz, bzip2 en brotli op hun eigen maximale instellingen. Over 65 zo geteste echte bestanden verloor het nooit: 45 duidelijke winsten, 20 gelijkspel, tot 1,75× scherper dan het beste alternatief op het beste geval. Een volledige methodologie verschijnt met de evaluatieversie, zodat u de vergelijking op uw eigen data kunt reproduceren.
Nu niet. De kern is proprietary. We plannen een publieke evaluatieversie zodat u deze cijfers op uw eigen data kunt verifiëren voordat u zich ergens aan verbindt; dat vinden wij belangrijker dan onze broncode lezen.
Op echt al-gecomprimeerde binaire media zoals JPEG en PNG haalt u ongeveer 1,0×, de ondergrens in de tabel hierboven. PDF's zijn een gedeeltelijke uitzondering, want die dragen vaak hun eigen comprimeerbare structuur: twee echte PDF's die we testten kwamen op 3,8× en 6,2× uit. Bestaat uw data vooral uit al-gecomprimeerde pixels in plaats van documenten, dan rechtvaardigt de omvangswinst alleen waarschijnlijk geen migratie, en dat zeggen we als u vertelt wat u opslaat.
We zijn pre-launch. Private pilots komen eerst, geprioriteerd op datatype, omdat de winst afhangt van wat u opslaat. Laat hieronder uw gegevens achter en vertel hoe uw data eruitziet; dat is echt de snelste route naar binnen.
We antwoorden met wat de gemeten cijfers zeggen over uw datatype, ook als het antwoord is dat de winst bescheiden zou zijn. Er volgt geen drip-campagne.