Analyseur de langue
	Projet Internet SoukhineVadim	Copyright © ESSI 1998

Proposé par: Dupont Christophe

C'est un simple programme qui est capable de détecter seulement trois langues : anglais, français et allemand (en version démo). La méthode de détection de lange connue comme analyse par ngrammes (n>1) permet de dire en quelle langue écrite la page donnée avec succès jusqu'à 93%...98%. Mais cette méthode est assez complexe et amène dans le domaine de cryptanalyse et de théorie de langue (statistic philology). Ce projet été réalisé en utilisant des tables de statistique consistées en monogrammes (n=1). L'analyse par monogrammes n'est pas trop complexe mais donne des résultats moins fiables que l'analyse par bigrammes ou trigrammes, par exemple.

Pour installer le programme il faut detarer le fichier langstat.tar dans un répertoire Internet qui peux exécuter des CGI scriptes. Le fichier lui-même est une copie du répertoire /cgi-bin. Après avoir installer il suffit de lancer dans un navigateur Internet le script CGI lstat.cgi et en suit remplir le formulaire. Dans le répertoire /cgi-bin ce trouvent:

• Le programme d'apprentissage langstat
• Le script CGI lstat.cgi
• Le programme de détection de langue ldetect
• Le fichier des donnés langstat.tbl (les tables statistiques) pour trois langues anglais, français et allemand et qui peut recevoir encore deux langues italien et espagnol
• Cette page avec les images
• Le répertoire /tmp qui nécessaire pour garder les fichiers temporaires (les droits d'accès doivent être strictement -rwxrwxrwx-)
• Le répertoire /lstat_win avec une version de langstat pour Windows langstat_win.c

Les programmes langstat et ldetect sonne faites en C et le script CGI réalisé en Perl.

• 
  Les onglets <> veulent dire optionnel.
• Le paramètre langue est deux lettres qui définissent la langue d'apprentissage. Dans cette version le programme accepte que cinq définitions: en pour anglais, fr pour français, de pour allemand, it pour italien et es pour espagnol.
• Le paramètre optionnel <DIR> c'est le répertoire où le programme va chercher les fichiers d'apprentissage (*.html ou *.htm, les autres extensions le programme va ignorer). S'il est omit le programme traite les fichiers HTML dans le répertoire courent.
• Le paramètre optionnel <table> c'est le nome du fichier où le programme va stocker des données statistiques. S'il est omit le programme crée le fichier par défaut langstat.tbl s'il n'existe pas ou ajoute nouvelle information dans ce fichier s'il existe. On peut ajouter nouvelle information dans n'importe quel moment même si on a déjà certaine information sur une langue.


Exemple: langstat fr ./ ma_stat.bin

langstat va chercher les fichiers HTML dans le répertoire courent et en suit va écrire des données sur la langue français dans le fichiers ma_stat.bin.

---

• Le paramètre file.html c'est le nome du fichier HTML à analyser.
• Le paramètre optionnel <table> c'est le nome du fichier d'où le programme va lire des données statistiques. S'il est omit le programme prend pour lecture le fichier par défaut langstat.tbl.

Exemple: ldetect mon.html

ldetect lit des données dans le fichier par défaut langstat.tbl et en suit analyse le fichier mon.html.

---

Le script CGI lstat.cgi reçoit un URL comme les données d'entre, ensuit il appelle wget pour qu'il remmène un empreint digital du site en forme d'une page HTML dans le répertoire temporel /tmp. Si lstat.cgi ne trouve rien dans ce répertoire alors soit URL est erroné soit il n'y a pas de fichiers HTML à cette adresse. Si tout va bien lstat.cgi lit le nome du fichier amené par wget et passe lui comme paramètre à ldetect. ldetect analyse la page et envoie le résultat à lstat.cgi. Enfin lstat.cgi affiche le résultat de la requête et invite l'utilisateur pour nouvelle requête.

---

Voici le résultat d'une requête

1. Le programme très critique au choix des fichiers d'apprentissage. Mauvais choix des fichiers sources amène au résultat de détection imprévisible.
   Remarque: la solution possible c'est d'utiliser l'algorithme d'analyse par bigrammes ou, encore mieux, par trigrammes.
2. Avec cet algorithme il n'y a pas de critère pour prendre décision en cas si la page fournie écrite en langue qui n'est pas dans les tables statistiques. Par exemple, si la page est en chinois le résultat est imprévisible.
   Remarque: la solution possible c'est d'utiliser l'algorithme d'analyse par ngrammes (n > 1) et d'utiliser le critère Bayesian pour prendre la décision en cas d'une langue inconnue.

soukhine@essi.fr