Espace d'écriture du mémoire

2.2.2.  Eléments d’évaluation

Johanna Daniel

Mercredi, août 27th, 2014

2.2.2.1.  Réflexion sur l’évaluation des outils

¶ 1 Commenter le paragraphe 1 4 S’il y est extrêmement complexe de s’orienter dans l’offre pléthorique des outils d’annotations, la question de leur évaluation n’est pas nouvelle. Ainsi, à plusieurs reprises, des chercheurs, issus de différentes disciplines, se sont penchés sur la question, cherchant à produire un état de l’art des outils d’annotation et à proposer une méthode d’évaluation de ceux-ci. Quatre études de ce type ont servi lors de l’élaboration du présent mémoire : nous allons succinctement les présenter. En 2006, une équipe de sept chercheurs, issus de quatre universités anglaises et allemandes proposaient à la revue Web Semantics un article intitulé « Semantic Annotation Systems for Knowledge Management : Requierments and a Survey of the State of the Art ». Dans ce papier, ils cernaient les enjeux de l’annotation pour gérer, structurer et interpréter les contenus dans le contexte du web sémantique, afin de pointer des exigences techniques et d’évaluer les outils existants à l’époque en regard de ces critères. En 2008, à l’occasion de la sixième International Conference on Language Resources and Evaluation,  Diana Maynard, de l’Université du Sheffield (Grande-Bretagne) présentait une communication sur les outils d’annotation textuel pour le web sémantique. Cette communication portait essentiellement sur les critères d’évaluation, que l’auteur explicitait longuement. Enfin, en 2011, trois chercheurs du département d’ingénierie et des sciences de l’information de l’université de Trento, en Italie, publiaient dans Semantic Web un article intitulé « A classification of Semantic Annotation Systems ». Ce papier, très long, ambitionnait de fournir un classement clair des caractéristiques des outils d’annotation, afin d’orienter les utilisateurs de ces systèmes dans le choix des solutions plus adaptées à leur besoins. Les travaux de master de Guillaume Cabanac m’ont également été précieux : ils délivrent une des rares synthèses en français sur les outils d’annotation.

2.2.2.2.  Quels critères pour mon benchmarking?

¶ 2 Commenter le paragraphe 2 3 Au regard de ces lectures et de ma propre expérience utilisateur, j’ai déterminé un certain nombre de critères, répartis en trois grands pôles :

• Fonctionnalités proposées par l’outil
• acteurs, licences, documentation
• aspects techniques
• Ergonomie

¶ 4 Commenter le paragraphe 4 1 Les paragraphes suivants détaillent les aspects qui doivent retenir l’attention lors de l’évaluation d’un outil. Ils forment les entrées du tableau d’évaluation conçu pour le benchmarking des outils, fourni en annexes du présent mémoire.

2.2.2.3.  Fonctionnalités

¶ 5 Commenter le paragraphe 5 15 La première étape est d’identifier les fonctionnalités offertes par l’outil. Ici, il s’agit d’examiner quels types d’annotations peuvent être produits et quelles métadonnées peuvent y être attachées (types, tags, informations sur le producteur de l’annotation). Une attention particulière a été portée à l’usage des référentiels (vocabulaires, ontologies) dans la production des annotations et à la gestion des droits et accès des utilisateurs.

• Annotation libre et annotation structurée. Les outils d’annotation disponibles proposent de produire des annotations qui vont du simple commentaire (texte libre) à l’annotation structurée, c’est-à-dire qualifiée, contrainte par des vocabulaires plus ou moins élaborés (vocabulaire, thésaurus, ontologie). Seules les annotations structurées peuvent être pleinement comprises et exploitées par la machine. De nombreux outils généralistes ne proposent qu’une annotation libre, tandis que les outils développés pour les sciences médicales et la linguistique reposent presque uniquement sur l’annotation structurée. La dernière génération d’outils développés à destination des SHS intègre de plus en plus fréquemment les deux possibilités.

• Typage des annotations. Le « typage » permet de distinguer les différents types d’annotations (expression d’une opinion personnelle, ajout d’une référence bibliographique, mise en lien avec un autre passage, indexation, correction…), facilitant ainsi la navigation entre les annotations. La possibilité de typer les annotations et de hiérarchiser leur affichage selon ce critère assure une meilleure ergonomie du système, facilitant ainsi la consultation des annotations par le lecteur. En effet, il peut être intéressant de mettre en avant certaines annotations plutôt que d’autres (recommandation) ou proposer au lecteur (consommateur d’annotation) d’afficher/masquer les annotations selon son intérêt (annotation de commentaire, d’ajout d’image, d’indexation…). Dans son brouillon de modèle abstrait d’annotation, Open annotation Community group spécifie une classe à cet usage <oa : motivation> et délivre un vocabulaire pour qualifier les types d’annotations.

• Référentiels : du tag à l’ontologie. Il est possible d’affiner les annotations en les indexant elle-même à l’aide d’étiquettes (tag). Ces tags peuvent constituer en soi une annotation (métadonnée sur la ressource annotée) ou être une métadonnée de l’annotation (qualification du contenu de l’annotation). La plupart des outils actuellement développés reposent sur des systèmes de tag censés favoriser la navigation au sein des annotations et améliorer l’indexation des ressources. En effet, le tagging est devenu central dans le web 2.0 comme instrument de gestion et d’exploration d’une masse grandissante de ressources. Les systèmes employés demeurent souvent très simples (folksomonie) et sont dépourvus de toute sémantisation (pas de gestion des homonymies, synonymies, abstraction). Au contraire, l’utilisation de référentiels structurés (thésaurus, vocabulaire, ontologie) permet une indexation plus fine et ouvre la possibilité de tirer parti du LOD.
  Cependant, l’usage de référentiels pose d’autres problèmes en ce qu’ils complexifient la structure des annotations et rendent beaucoup plus lourde la gestion des outils d’annotation (stockage des référentiels), ce qui peut nuire à leur rapidité.
  L’emploi de référentiel entraîne bien sûr la question de la gestion de ceux-ci. Un référentiel peut-être amené à évoluer : le travail d’annotation peut entraîner un enrichissement du référentiel employé, voir à le construire de toutes pièces. Dans cette perspective, il est important de vérifier que l’outil permet la gestion ou l’enrichissement des référentiels (ou délègue cette tache à un service tiers).
  En cas d’évolution des référentiels, et à fortiori de correcte gestion de ceux-ci, se pose la question des conflits. En effet, s’il est possible de faire évoluer les référentiels, certaines évolutions peuvent entrer en conflit avec les annotations déjà posées sur le corpus : il est nécessaire que l’outil offre un contrôle et traitement massif et aisé des éventuels conflits entre les annotations existantes et les versions du référentiel.

• Gestion des droits et des accès. Tout outil de travail collaboratif doit permettre une gestion fine des droits et des accès aux données produites. En effet, à minima, chaque utilisateur doit pouvoir déterminer les accès aux annotations qu’il produit (affichage privé, public ou restreint à un groupe d’utilisateurs). De plus, il faut rendre possible la gestion des permissions de chaque utilisateur (suppression, modification, ajout…). Dans le cadre d’un outil de recherche, il paraît important de garantir à l’utilisateur que certaines de ses annotations restent privées ou seulement accessibles à un groupe prédéfini, lui assurant ainsi un espace de travail et de réflexion préservé. Certains outils proposent une gestion hiérarchique des utilisateurs, accordant des degrés d’autorisation en fonction de l’expérience de l’annotateur, du nombre de contributions validées…
  C’est par ailleurs un enjeu essentiel et un point critique car pose des problèmes de confidentialité des données des utilisateurs.

¶ 10 Commenter le paragraphe 10 0 Options supplémentaires. Dans un projet en SHS, d’autres fonctionnalités peuvent être souhaitables, telles que la possibilité de lier les annotations à des objets extérieurs (page web) ; l’autorisation d’annotation à multi-corps ou multi-cible (comme recommandé dans le brouillon d’Open annotation Community group) ; la possibilité d’annoter des images ou encore celle de gérer les références bibliographiques, en connectant l’outil d’annotation à un service du type Zotero. Enfin, l’automatisation de la reconnaissance des entités nommées peut être souhaitable.

2.2.2.4.  Acteurs, licences, documentation

¶ 11 Commenter le paragraphe 11 1 Lors de l’évaluation d’un outil d’annotation, il est important d’identifier les acteurs de son développement : s’agit-il de société privée, d’un organisme à but non lucratif, d’une université ou d’un laboratoire? La réponse a des conséquences sur les choix de licence, le modèle économique et le maintien de l’outil dans le temps.

¶ 12 Commenter le paragraphe 12 2 Par ailleurs, il faut veiller à noter la genèse du projet et le cadre dans lequel il s’inscrit, ainsi que la fréquence des mises à jour et communication à son sujet, le silence étant toujours de mauvais augures.

¶ 13 Commenter le paragraphe 13 0 On évaluera également la qualité de la documentation produite, qui témoigne de l’engagement de l’équipe à rendre l’outil utilisable par le plus grand nombre, mais également la masse et l’activité des usagers. L’outil a-t-il réussi à engendrer une communauté qui échange sur ses pratiques, participe à la mise à jour des composants et de la documentation?

¶ 14 Commenter le paragraphe 14 1 Enfin, une attention toute particulière doit être portée aux licences et au modèle économique qui sous-tend. PRÉCISER CE QU’IMPLIQUE LE LOGICIEL OPEN SOURCE ET LES AUTRES MODÈLES .

2.2.2.5.  aspects techniques et standards.

¶ 15 Commenter le paragraphe 15 4 Il est important, afin d’assurer la pérennité des annotations et offrir aux chercheurs toute la liberté de réemploi dans d’autres contextes du travail qu’ils ont produit de s’assurer de l’interopérabilité des annotations. Les standards pour un modèle commun d’annotation étant en cours d’établissement par le W3C, les développeurs n’ont pas de normes précises auxquelles se référer. De ce fait, la seule solution est d’évaluer le degré de concordance entre l’outil et les brouillons déjà publiés par les groupes de travail du W3C même s’ils n’ont pas de valeur normative. C’est ainsi le seul moyen d’assurer une pérennité et l’adéquation des ressources produites avec les futurs développements du web.

¶ 16 Commenter le paragraphe 16 6 Il faut également porter une attention toute particulière à l’architecture des outils et aux choix techniques effectués par les développeurs. Ainsi, il faut préférer les outils développés selon une architecture modulaire (aussi dite « en brique »), plus facilement extensible et interopérable avec d’autres services. A contrario, les outils conçus d’un seul bloc sont plus lourds, plus difficiles à maintenir et à personnaliser.

¶ 17 Commenter le paragraphe 17 1 Sur le plan technique, les éléments devant retenir l’attention sont les suivants :

• Langage du client et du serveur : s’agit-il d’un langage largement répandu ? Adapté ?
• Type de ressources annotables : quel(s) type(s) de ressources l’outil permet-il d’annoter ? Dans quel(s) format(s) doivent-elles être exposées ?
• Stockage des ressources : l’outil stocke-t-il une copie de la ressource ou d’un fragment de la ressource ? Si oui, sous quel(s) format(s) ?
• Format des annotations : dans quel format est stockée l’annotation ?
• Stockage des annotations : Comment est stockée l’annotation ?
• Référentiels : format et stockage : est-il possible d’utiliser des référentiels ? Si oui, sous quel format et où sont-ils stockés ?
• Technique d’ancrage et système de localisation : Comment sont pointés les fragments de ressources annotés ? Ce modèle est-il pérenne et fiable ?

2.2.2.6.  Ergonomie

¶ 19 Commenter le paragraphe 19 1 L’ergonomie est un critère très important dans le choix d’un outil d’annotation pour le travail collaboratif. Ainsi, seul un outil ergonomique peut parfaitement s’intégrer dans le workflow de travail déjà établi des chercheurs. Un outil impliquant un apprentissage long, ralentissant les tâches quotidiennes ou demandant un investissement intellectuel trop lourd pour une action théoriquement routinière est de fait peu performant et n’obtiendra pas l’engagement des équipes. La question de l’ergonomie est la principale critique à l’encontre de bon nombre d’outils actuellement développés (lenteur, conception peu adaptée aux usages ou aux problématiques des utilisateurs visés). Cependant, dans le cas de ce benchmarking, ce critère n’a pas été évalué, et ce pour plusieurs raisons. D’une part, l’échantillon d’outil était trop réduit pour rendre le critère de l’ergonomie pertinent. De plus, l’évaluation des outils a été basée sur la consultation des documentations fournies par les développeurs et sur des démos publiques : les véritables qualités et défauts des interfaces ne se dévoilent qu’en condition d’utilisation poussée. D’autre part, ce n’est qu’au moment du choix final qu’il sera indispensable de le prendre en compte. Enfin, certains outils peuvent être personnalisés sans trop d’investissement technique et financier et ainsi adaptables aux besoins propres de notre projet.

¶ 20 Commenter le paragraphe 20 0 Si cette question de l’ergonomie n’a pas été prise en compte dans le benchmarking, elle sera abordée en détail dans les scénarios d’usages.