Hierarchical Data Format

Le Hierarchical Data Format est un ensemble de formats de fichiers permettant de sauvegarder et de structurer des fichiers contenant de très grandes quantités de données. Un fichier HDF est un conteneur de fichiers.

Les premiers formats HDF ont été développés au National Center for Supercomputing Applications, avant d'être développés par le HDF Group.

HDF désigne à la fois le format et l'ensemble composé des bibliothèques, des outils (dont l'outil de navigation et de manipulation HDFView) et des jeu de tests.

Les caractéristiques des formats HDF, ainsi que les bibliothèques pour les utiliser et les outils associés sont disponibles en licence libre (BSD). HDF est supporté par de nombreux langages : Java, MATLAB, IDL et Python.

Il existe principalement deux formats HDF : HDF4 et HDF5. Les fichiers HDF ont de nombreuses extensions : .hdf, .h4, .hdf4, .he4 (pour HDF4) .h5, .hdf5 et .he5 (pour HDF5).

HDF5

Le HDF5 améliore le HDF4. Il simplifie la structure des fichiers pour proposer seulement deux types d'objets :

• les datasets ou ensemble de données, qui sont des tableaux multidimensionnels contenant des données d'un même type (pré-défini ou dérivé) ;
• les groups ou groupes, qui contiennent, ou regroupent, des datasets et d'autres groupes.

L'utilisateur peut aussi définir une structure d'attribut pour ajouter des informations (des meta-données) sur chaque objet.

Cette structuration en datasets et groups donne au fichiers HDF5 une structure hierarchique (en l'occurrence arborescente), un peu comme un système de fichiers. Cette analogie avec un système de fichiers est aussi présente dans les conventions de nommage des objets du fichiers : le nom complet d'un objet du fichier HDF5 est construit comme un chemin dans un système de fichiers (/chemin/vers/le/fichier).

Interfaces

Il existe des interfaces de programmation pour manipuler des fichiers HDF via un langage de programmation ou un logiciel.

Interfaces du HDF Group

• C
• C++
• Fortran, Fortran 90
• Java

Autres interfaces

• GNU Data Language
• Huygens Software utilise HDF5 comme format de stockage depuis la version 3.5
• IDL
• JHDF5^[1], une autre interface Java
• MATLAB utilise HDF5 comme format de stockage
• Mathematica^[2] gère le HDF et les données dans les fichiers HDF5
• Perl
• Python^[3]
• NetCDF utilise HDF5 depuis la version 4

Liens internes

• Common Data Format (CDF)
• Flexible Image Transport System, un format de données utilisé en astronomie
• GRIB (GRIdded Binary), un format de données utilisé en météorologie

Références

1. ↑ JHDF5 library
2. ↑ HDF Import and Export Mathematica documentation
3. ↑ http://code.google.com/p/h5py/

Liens externes

• (en) Site officiel du HDF Group
• Poinot,M: Five Good Reasons to Use the Hierarchical Data Format. Comput. Sci. Eng. 12(5) 84-90 (2010).

Outils

• HDFView : navigation et manipulation de fichiers HDF (en Java)
• ViTables : navigation et manipulation de fichiers HDF5 et PyTables (en Python)

Cet article est fondé sur une traduction de la Free On-line Dictionary of Computing et est utilisé avec permission selon la GFDL.