Blogabriel

Voici un petit programme que j’ai réalisé, il prend en entrée un texte écrit en caractères arméniens (en unicode) et en réalise la tokenisation (ou normalisation), voir mon article sur ce sujet.

Seuls les caractères arméniens sont conservés, c’est-à-dire toutes les lettres minuscules et majuscules ainsi que le paryok ՞ (le point d’interrogation arménien), le badiv ՟ (signe d’abréviation pour les nomina sacra) et les ligatures suivantes : ﬓ, ﬔ, ﬕ, ﬖ, ﬗ et և. Les caractères օ et ֆ apparus après la période de l’Âge d’Or sont aussi pris en compte. Le résultat est un fichier au format CSV dont chaque ligne est formée du nom du groupe de mots découpés, du rang du mot découpé, et du mot découpé. Les éléments d’une ligne sont séparés par le caractère de votre choix, par défaut un point-virgule. Le résultat est affiché, il ne vous reste plus qu’à en faire un fichier CSV. (C’est à vous de choisir le nom du groupe de mots découpés.)

Le fichier CSV peut être lu par le tableur de Libre office, d’Open Office, celui de Microsoft etc.

Lien pour l’outil de tokenisation de l’arménien.

A la demande de l’Association Culturelle Arménienne de Marne-la-Vallée (ACAM), j’ai partagé mercredi 3 juin au cours d’une conférence ma conviction qu’il n’est plus possible de communiquer en arménien, notamment sur Internet, par mail, dans les blogs, les sites etc. sans adopter définitivement l’unicode. J’ai déjà écrit plusieurs billets sur ce thème.

Ce mercredi 3 juin 2009, à 20h30 précises, sur la péniche Anako ancrée dans le bassin de la Villette, en face du 61 quai de La Seine (Paris 18e), nous nous sommes retrouvés nombreux. Les intervenants étaient Philippe Pilibossian, Gabriel Kepeklian et Haroutioun Khatchadourian.

De quoi s’agit-il ?

Les utilisateurs de Windows ont à leur disposition un outil Unicode très simple. Il n’est pas adapté à la saisie d’un long texte mais est particulièrement utile pour tous ceux qui ont à saisir des caractères Unicode non accessibles à l’aide du clavier standard. Ce programme étant méconnu pour ses possibilités Unicode, il mérite ce billet d’explication et vous verrez que vous l’adopterez dans votre trousse à outils.

Où trouver ce logiciel ?

Ce logiciel est livré avec Windows pour toutes les versions de Windows 98, 2000, XP et Vista. Il est donc situé dans un des répertoires d’installation du système d’exploitation de Microsoft. Si jamais vous n’aviez pas ce logiciel dans votre ordinateur, il est possible de le télécharger depuis le site de Microsoft.

Comment lancer ce programme ?

Il y a au moins trois méthodes simples. Choisissez.

1. Cliquez sur Démarrer, Programmes, Accessoires, Outils système, Table des Caractères
2. Appuyez sur les touches « Fenêtre » + « R », écrivez « charmap », cliquez sur OK
3. Si cet outil vous est très utile, créez un raccourcis sur charmap et utilisez ensuite ce raccourcis

Comment utilisez Charmap ?

Après avoir lancé Charmap, la fenêtre qui apparaît est dans un mode d’affichage simple. En cochant la case « Affichage avancé » en bas, vous obtenez ceci :

Choisissez la police de caractères que vous voulez utiliser. Pour les caractères arméniens, je vous recommande « sylfaen ».

Maintenant voyons comment retrouver un caractère précis.

1. La première solution consiste à parcourir la page et à repérer le caractère. Mais c’est fastidieux et long.
2. Vous pouvez aussi saisir le nom de la lettre dans la zone de recherche (en bas) et cliquer sur « recherche ».
3. Vous pouvez encore choisir « Rangée Unicode » dans la zone « Grouper par » (en bas). A ce moment là, une petite fenêtre s’ouvre sur le côté dans laquelle vous allez trouvez le nom des rangées Unicode disponibles dans la police choisie.

Si vous sélectionnez un alphabet, par exemple l’arménien, la fenêtre principale change et se spécialise pour ne présenter que les caractères de l’alphabet choisi.

Maintenant, il ne vous reste plus qu’à sélectionner le ou les caractères de votre choix puis à les copier pour les coller dans votre application, par exemple votre traitement de textes ou votre tableur.

Charmap réserve encore d’autres fonctionnalités que vous découvrirez par vous-même, j’en suis sûr !

Pour aller plus loin … mais je ne le recommande pas
Il existe aussi un outil très « confidentiel » et donc bien caché : l’éditeur de caractère privé. Ce logiciel s’appelle : « eudcedit ». Pour y accéder, restez dans la même logique que pour Charmap : Démarrer/Exécuter ou « Fenêtre »+R. Il vous servira à créer vos propres caractères Unicode qui seront enregistrés dans un fichier se terminant par l’extension « .TTE ».

Vous pourrez ensuite utiliser ces nouveaux caractères en choisissant la police que vous aurez ainsi créée. Si vous voulez que vos correspondants vous lisent, il faudra leur donner votre fichier « .TTE ».

Mon conseil : l’utilisation de cette possibilité devrait rester totalement personnelle, limitée à vos besoins propres. Il n’y a en effet aucune pérennité à attendre de caractères créés par vous …

Si vous être un utilisateur d’un système Windows, vous trouverez dans le site de Microsoft un utilitaire qui permet de vérifier si un fichier de police (avec une extension .TTF) est conforme à la norme Unicode. Cet outil gratuit et téléchargeable (http://www.microsoft.com/typography/property/property.htm) a été baptisé « Microsoft Opentype Font File Properties Extension ».

Quand on fait un clic droit sur un fichier de police dont l’extension est .TTF, choisissez ensuite « Propriétés ». Vous pourrez alors savoir si cette police est compatible avec l’Unicode et quelle est son étendue de caractères (l’onglet « Version » est utile pour préciser).

(Sous XP)

(sous Vista)

Si vous cliquez sur « Ouvrir », vous pourrez voir un exemple d’utilisation de la police. Mais, il y a là un défaut. Il n’est pas possible de voir tous les caractères. Pour avoir cette possibilité, il faut recourir à d’autres outils. Par exemple, dans les traitements de texte Open Office ou Microsoft Office, on trouve sous le menu « Insertion » le choix « caractères spéciaux » qui ouvre une fenêtre où on voir tous les caractères.

Vous noterez au passage (en regardant bien les illustrations de ce post) que l’Unicode est ici donné comme identique à l’ISO 10646-2. En fait, ce n’est pas tout à fait exact … mais c’est un autre sujet.

Si vous connaissez  d’autres petits outils pratiques … n’hésitez pas à laisser un commentaire.

La terminologie des imprimeurs et des typographes a été percutée par celle de l’informatique il y a déjà un certain temps. Aujourd’hui, combien d’entre nous savent encore distinguer police, fonte, caractère, casse etc. ? Essayons d’y voir un peu plus clair … Cela nous permettra de mieux définir ce qu’est l’unicode à la fin de ce post.

• Le caractère signifie le dessin d’une lettre. En imprimerie, c’est donc le morceau de métal qui forme une lettre ou un signe.
• Le glyphe est la représentation visuelle d’un caractère. C’est ce que je vois formé de traits, de courbes, de points …
• La casse est un casier où, dans chaque cassetin est rangé les plombs d’un même caractère. Une casse est homogène, elle contient une famille de caractères.
• La fonte désigne l’ensemble des caractères présentant les mêmes caractéristiques de corps, graisse et italique dans une même police. Par exemple, la fonte Arial Gras Italique de corps 14.
• La police de caractères est l’ensemble des fontes d’une même famille de fonte. Par exemple, la police Garamond.

Lorsqu’apparaît l’informatique, très vite se pose la question du codage des caractères :  » Comment représenter une lettre, un signe ?  » Au début, il s’agit d’avoir un code pour la lettre « A », sans se soucier de son impression. Puis, ça se complique et la question devient :  » Comment faire pour désigner un caractère ? « . Puis, l’informatique n’étant pas que l’affaire des écritures occidentales des pays les plus développés … on commence à se demander comment faire pour avoir des polices de caractères propres aux différents alphabets (romain, grec, arménien, cyrillique, coréen etc.).

C’est ainsi qu’est né un système d’encodage normalisé qui a reçu le nom d’unicode. Chaque caractère y est codé par une unique valeur numérique. Un code précis est destiné à garantir l’affichage et l’impression corrects sur tous les matériels, logiciels et dans toutes les langues du bon caractère. Lorsque la norme unicode sera entièrement définie (c’est probablement une utopie), elle couvrira la totalité des caractères employés dans toutes les langues du monde, toutes les ligatures, tous les signes de ponctuation et tous les symboles (et j’en oublie sûrement).

Quelques repères. La version 1.0 est publié en 1991. En 1998, la version 2.1 d’unicode contient 50 377 caractères, c’est la définition de la  police « Arial Unicode MS » livrée par Microsoft. En 2002, la version 3.2 classe 95 221 caractères, symboles et directives. En 2003, la version 4.0 code 96 447 caractères. Actuellement, nous en sommes à la version 5.1.0 avec plus de 100.000 caractères !

Il est important de comprendre que cette norme est universelle : il n’y a pas plusieurs normes unicode mais une seule. Elle s’applique à tous les ordinateurs, toutes les imprimantes, tous les logiciels … créés depuis la publication de la norme. Par exemple, au niveau des systèmes d’exploitation, l’unicode est supporté depuis Windows XP, MacOS 8.5, les UNIX et Linux récents …

Ainsi, si j’écris un texte en arménien en utilisant un logiciel qui utilise l’unicode, je suis certain que mon texte pourra être lu, imprimé, stocké partout sur terre et sans que celui me lira ait besoin de posséder les mêmes logiciels que moi. Les versions successives de l’unicode garantissent toujours les précédentes.

Alors, il n’y a pas à hésiter un seul instant. Il n’y a plus d’excuse à utiliser les bricolages d’un autre millénaire

Etes-vous unicodiste ? Avez-vous déjà utilisé l’unicode ? Mais peut-être avez-vous rencontré quelques difficultés ? Quelle est votre expérience ?