Sommaire

• Intitule du sujet
• Solution retenue
• Installation
• Description
• Fonctionnement
• Le code source
• Download de l'archive

• Proposé par : Christophe Dupont
• Outils utilisés : au choix, wget recommandé
• Description :  Représentation de l'arborescence d'un site web sous forme graphique. Le site pourra être rapatrié à l'aide de robots automatiques, puis le contenu sera analysé afin de produire l'arborescence, y figurera le titre de chaque page et d'autres infos. Il sera permis de naviguer à l'intérieur de l'arborescence du site.
• Cadre : ce mini-projet s'inscrit dans le cours Internet (SAR6) ESSI3 (1998)

Solution retenue

Le principe de fonctionnement de l'application est de parcourir un site Web. Comme on ne peut pas parcourir un site Web avec des commandes shell, il faut, pour afficher l'arborecence d'un site, récupérer une page initiale connue, puis l'analyser et récupérer de nouvelles entrées ( fichiers HTML, mais aussi images, sons ... ) du site à parcourir.


Deux solutions s'offrent à nous :

• downloader entièrement le site Web avec un utilitaire comme wget et ensuite afficher l'arborescence
• analyser le site web au fur et à mesure

La première solution, facilitée par l'emploi d'un outil existant, ne nous convenait pas car l'affichage effectif de l'arborescence aurait pu prendre beaucoup de temps, et implique le download systématique de tout le site (qui peut être très gros).
La deuxième solution nous permet d'afficher l'arborescence au fur et à mesure de l'analyse du site, analyse qui peut être très longue.

Nous avons choisis d'utiliser le langage Java (version 1.1.5) qui offre des possibilités interressantes pour les communications réseaux et la bibliothèque graphique Swing (version 1.01) pour les affichages.

Installation

• Assurez vous que le JDK 1.1.5 est correctement installé.
  Nous avons ajouté la version 1.01 de swing dans le package, dans le repertoire lib/Swing/. Si vous ne possédez pas cette version dans votre environnement, il vous faut ajouter le chemin lib/Swing/swingall.jar dans votre CLASSPATH.
• Le logiciel est livré déjà compilé.
  • (optionnel) Pour recompiler les classes : cd src/; javac -d ../lib/ *.java
• Lancer l'application : cd lib/; java SiteMapper

  Il est à noter que notre programme est une application et non une applet à cause des problème de sécurités qui peuvent apparaître et impliqueraient donc l'emploi d'un serveur de requètes.
   

Description de l'interface

La barre de menu

Sert principalement à sortir de l'application

 

	Permet de remonter d'un niveau dans l'arborescence
	Permet de stopper l'analyse du site en cours
	Affiche le contenu du répertoire sélectionné avec de grandes icônes
	Affiche le contenu du répertoire sélectionnée avec de petites icônes
	Affiche le contenu du répertoire sélectionné sous forme de liste. Ce type d'affichage offre aussi le type du fichier, son titre, sa taille, sa date ...

 

Zone de saisie de l'url (Exemple : http://www.essi.fr/ )
Les recherches précédentes sont mémorisées dans la liste déroulante

L'arborescence permet de visualiser les répertoires du site. La sélection d'une branche provoque l'affichage automatique de son contenu dans la zone à sa droite (voir ci-dessous)

Cette zone offre la visualisation du contenu du répertoire sélectionné sous une forme choisie par l'utilisateur (grandes icônes par défaut). Il est très facile de passer entre les différentes vues.
Certaintes icônes affichées peuvent réagir à un clic de souris :
• les pages HTML sont ouvertes
• les images sont visualisées
• les fichiers textes
• les applets Java sont executées (Dans cette version, uniquement celles qui ne prennent pas de parametres)

Fonctionnement

Le SiteMapper ne download uniquement les pages HTML qu'il parse afin de découvrir la structure hierarchique du site Web.
Pour ce faire, il crée un Thread qui lance une exploration en profondeur du site. Nous avons écrit un parseur HTML qui extrait les références se trouvant dans les pages HTML et en vérifie la validité. Si une de ces référence est un document HTML, il sera a son tour parsé. Le parsing s'arrete lorsque tout a été exploré. Grâce à une option 'parent', on peut obliger le parseur à remonter les parents pour avoir une exploration plus complète.
Nous avons mis une attention toute particulière à vérifier la validité des documents que l'on affiche. Chaque document trouvé est repré sous forme d'une icone relativement à son type (HTML, GIF, JPEG, CLASS, PS, ...). Dans certains cas, nous avons implémenté un visualiseur adapté à quelques types de documents (HTML preview, Applets Java, Textes, GIF).