Catálogo DR2 de Gaia disponible para descargar en formato FAPEC
El grupo Gaia de la Universitat de Barcelona (IEEC – ICCUB), en colaboración con DAPCOM Data Services S.L. (una empresa tecnológica spin-off de la UPC y la UB), ha publicado una copia alternativa del grueso de los ficheros de datos del Gaia DR2 – la segunda publicación de Gaia.
Gaia DR2 se publicó el 25 de Abril de 2018. Además del catálogo on-line, se puso a disposición de la comunidad una versión en ficheros CSV para su descarga – una opción interesante para análisis exhaustivos. Oficialmente, esos ficheros se ofrecen en formato «csv.gz«, es decir, comprimidos con el ampliamente conocido compresor gzip.
El 6 de Febrero de 2019, DAPCOM publicó FAPEC Archiver 19.0, un software profesional de compresión de datos que ofrece altas relaciones de compresión con gran rapidez de ejecución. Una de las opciones proporcionadas es la compresión de ficheros de texto tabulados (tipo CSV), como los del grueso del Gaia DR2. Como muestra de las capacidades de FAPEC, DAPCOM ha convertido todos los ficheros CSV del Gaia DR2 al formato FAPEC, reduciendo el tamaño total de 554 GB a 471 GB – es decir, un 15% menos que con gzip. Otros compresores de datos como bzip2, rar, Zstandard o 7-zip no alcanzan estas cotas. Concretamente, para las tablas más grandes:
- gaia_source se ha reducido de 548 GB a 466 GB. También hemos aprovechado para combinar varios ficheros CSV en archivos FAPEC más grandes para mejorar las velocidades de descarga.
- gaia_source_with_rv, de 3.1 GB a 2.5 GB.
- light_curves, de 2.3 GB a 1.9 GB.
Podéis descargar el Gaia DR2 en formato csv.fapec aquí:
Descarga del Gaia DR2 en csv.fapec
En esta descarga también se ofrecen los scripts usados para la conversión de gzip a fapec, así como los ficheros de registro del proceso, durante el cual comprobamos cada uno de los ficheros para asegurarnos de que no ha habido ninguna pérdida ni corrupción en los datos.
Podéis obtener licencias gratuitas de descompresión FAPEC en la página web de DAPCOM.
¡Que lo disfrutéis!
