Heritrix

Heritrix
Heritrix
Importez le logo de ce logiciel
Dernière version 3.0.0 (12 décembre 2009) [+/−]
Environnement Linux/Windows
Type Robot d'indexation
Licence LGPL
Site web Heritrix

Heritrix est un robot d'indexation conçu et utilisé par Internet Archive pour l'archivage du web. C'est un logiciel libre programmé en langage Java. Son interface principale est accessible depuis un navigateur web, mais un outil en interpréteur de commandes peut aussi être optionnellement utilisé pour lancer l'indexation.

Heritrix a été développé conjointement par Internet Archive et les Bibliothèques Nationales Nordiques en 2003. Sa première publication officielle a eu lieu en janvier 2004, et il a depuis été continuellement amélioré par les membres d'Internet Archive et par des tiers intéressés.

Sommaire

Projets utilisant Heritrix

Un nombre important d'organisations et de bibliothèques nationales utilisent Heritrix, parmi lesquels :

Fichier Arc

Par défaut, Heritrix stocke les ressources qu'il collecte dans un fichier Arc, format qu'Internet Archive utilise depuis 1996 pour stocker ses archives. Heritrix peut également être configuré pour stocker les fichiers dans un format de répertoire similaire au robot d'indexation Wget, qui nomme le répertoire et le fichier de chaque ressource d'après son URL.

Dans le format Arc, de multiples ressources archivées sont stockées dans un seul fichier, afin d'éviter d'avoir à gérer un grand nombre de petits fichiers. Un fichier consiste en une séquence d'enregistrements d'URL, chacun étant accompagné d'un en-tête contenant des métadonnées à propos de la manière dont la ressource a été demandée, de l'en-tête HTTP, et du code de la réponse. La taille d'un fichier Arc est comprise entre 100 et 600 mégaoctets.

Exemple :

filedesc://IA-2006062.arc 0.0.0.0 20060622190110 text/plain 76
1 1 InternetArchive
URL IP-address Archive-date Content-type Archive-length

http://foo.edu:80/hello.html 127.10.100.2 19961104142103 text/html 187
HTTP/1.1 200 OK
Date: Thu, 22 Jun 2006 19:01:15 GMT
Server: Apache
Last-Modified: Sat, 10 Jun 2006 22:33:11 GMT
Content-Length: 30
Content-Type: text/html

<html>
Hello World!!!
</html>

Outils pour le traitement de fichiers Arc

Heritrix inclut un outil en ligne de commande intitulé arcreader qui permet d'extraire le contenu d'un fichier Arc.

La commande suivante liste toutes les URL et métadonnées stockées dans le fichier Arc de l'exemple précédent :

arcreader IA-2006062.arc

La commande suivante en extrait le fichier hello.html, en prenant en compte le début de l'enregistrement à l'offset 140 :

arcreader -o 140 -f dump IA-2006062.arc

Autres outils :

Outils en ligne de commande

Heritrix est fourni avec plusieurs outils en ligne de commande :

  • htmlextractor - montre le lien que Heritrix doit extraire pour un URL donné
  • hoppath.pl - recrée le chemin des liens pour une URL spécifiée depuis une indexation complétée
  • manifest_bundle.pl - met en paquets toutes les ressources référencées par le fichier manifeste du robot dans un fichier tar incompressé ou compressé
  • cmdline-jmxclient - permet le contrôle en ligne de commande d'Heritrix
  • arcreader - extrait du contenu d'un fichier Arc (voir supra)

Voir aussi

Articles connexes

Références

Liens externes


Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Heritrix de Wikipédia en français (auteurs)

Игры ⚽ Нужна курсовая?

Regardez d'autres dictionnaires:

  • Heritrix — Infobox Software name = Heritrix caption = Screenshot of Heritrix Admin Console. developer = latest release version = 2.0.1 latest release date = release date|2008|08|07 operating system = Linux/Unix like/Windows(unsupported) programming language …   Wikipedia

  • Heritrix — Contenido 1 Heritrix 2 Ficheros Arc 3 Herramientas para procesar los ficheros Arc 4 Proyectos que usan Heritrix …   Wikipedia Español

  • heritrix — her·i·trix …   English syllables

  • heritrix — …   Useful english dictionary

  • Web archiving — is the process of collecting portions of the World Wide Web and ensuring the collection is preserved in an archive, such as an archive site, for future researchers, historians, and the public. Due to the massive size of the Web, web archivists… …   Wikipedia

  • heretrix — variant of heritrix * * * heretrix see heritrix …   Useful english dictionary

  • Web crawler — For the search engine of the same name, see WebCrawler. For the fictional robots called Skutters, see Red Dwarf characters#The Skutters. Not to be confused with offline reader. A Web crawler is a computer program that browses the World Wide Web… …   Wikipedia

  • Internet Archive — Not to be confused with the arXiv. For help citing the Internet Archive in English Wikipedia, see Wikipedia:Using the Wayback Machine. Coordinates: 37°46′56.3″N 122°28′17.65″W /  …   Wikipedia

  • National and University Library of Iceland — Landsbókasafn Íslands Háskólabókasafn (English: The National and University Library of Iceland) is the national library of Iceland which also functions as the university library of the University of Iceland. The library was established on… …   Wikipedia

  • Libarc — is a C++ library that accesses contents of GZIP compressed ARC files. These ARC files are generated by the Internet Archive s Heritrix web crawler.This allows you to Open and scan contents of GZIP compressed ARC Files. It also allows you to get… …   Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”