Catàleg DR2 de Gaia disponible per descarregar en format FAPEC

El grup Gaia de la Universitat de Barcelona (IEEC – ICCUB), en col·laboració amb DAPCOM Data Services S.L. (una empresa tecnològica spin-off  de la UPC i la UB), ha publicat una còpia alternativa del gruix dels fitxers de dades del Gaia DR2 – la segona publicació de Gaia.

Gaia DR2 es va publicar el 25 d’Abril de 2018. A més del catàleg on-line, es va posar a disposició de la comunitat una versió en fitxers CSV per a descàrrega – una opció interessant per a anàlisis exhaustius. Oficialment, aquests fitxers s’ofereixen en format “csv.gz“, és a dir, comprimits amb el conegut compressor gzip.

El 6 de Febrer de 2019, DAPCOM ha publicat FAPEC Archiver 19.0, un software professional de compressió de dades que ofereix altes relacions de compressió amb gran rapidesa d’execució. Una de les opcions proporcionades és la compressió de fitxers de text tabulats (tipus CSV), com els del gruix del Gaia DR2. Como a mostra de les capacitats de FAPEC, DAPCOM ha convertit tots els fitxers CSV del Gaia DR2 al format FAPEC, reduint-ne la mida total de 554 GB a 471 GB – és a dir, un 15% menys que amb gzip. Altres compressors de dades com bzip2, rar, Zstandard o 7-zip no arriben a aquestes xifres. Concretament, per les taules més grans:

• gaia_source s’ha reduït de 548 GB a 466 GB. També hem aprofitat per combinar diversos fitxers CSV en arxius FAPEC més grans per millorar les velocitats de descàrrega.
• gaia_source_with_rv, de 3.1 GB a 2.5 GB.
• light_curves, de 2.3 GB a 1.9 GB.

Podeu descarregar el Gaia DR2 en format csv.fapec aquí:

Descàrrega del Gaia DR2 en csv.fapec

En aquesta descàrrega també s’ofereixen els scripts usats per la conversió de gzip a fapec, així com els fitxers de registre del procés, durant el qual hem comprovat cadascun dels fitxers per assegurar-nos de que no hi ha hagut cap pèrdua ni corrupció en les dades.

Podeu obtenir llicències gratuïtes de descompressió FAPEC a la pàgina web de DAPCOM.

¡Que ho disfruteu!