Catálogo EDR3 de Gaia disponible en un mejor formato de compresión

El grupo Gaia de la Universitat de Barcelona (IEEC – ICCUB), en colaboración con DAPCOM Data Services (una empresa tecnológica spin-off  de la UPC y la UB), ha publicado una copia alternativa de los ficheros de datos con el catálogo completo del Gaia EDR3 – la publicación temprana del tercer catálogo de Gaia.

El Gaia EDR3 se publicó ayer, 3 de Diciembre de 2020. Además del catálogo on-line, se puso a disposición de la comunidad una versión en ficheros CSV para su descarga – una opción interesante para análisis exhaustivos. Oficialmente, esos ficheros se ofrecen en formato «csv.gz«, es decir, comprimidos con el ampliamente conocido compresor gzip.

DAPCOM proporciona FAPEC, un software profesional de compresión de datos que ofrece altas relaciones de compresión con una gran rapidez de ejecución. Una de las opciones incluídas es la compresión de ficheros de texto tabulados (tipo CSV), como los del catálogo Gaia EDR3. Como servicio a la comunidad astronómica internacional, y también como muestra de las capacidades de FAPEC, DAPCOM y el Grupo Gaia IEEC/ICCUB han convertido todos los ficheros CSV de la tabla GaiaSource del Gaia EDR3 al formato FAPEC, reduciendo el tamaño total de 613 GB a 495 GB – es decir, un 19% menos que con gzip. Otros compresores de datos como bzip2, rar, Zstandard o 7-zip no alcanzan estas cotas.

Podéis descargar el Gaia EDR3 en formato csv.fapec aquí:

Descarga del Gaia EDR3 en csv.fapec

Durante los próximos días, también se convertirán y publicarán el resto de las tablas disponibles en el catálogo Gaia EDR3.

Podéis obtener licencias gratuitas de descompresión FAPEC en la página web de DAPCOM. DAPCOM está preparando una nueva versión de FAPEC, la cual incluirá un descompresor descargable gratuitamente, así como soporte para su uso en Python.

¡Que lo disfrutéis!