Interaction et multimodalité

Jean Caelen 1
1 CLIPS-IMAG - Equipe GEOD, Groupe d'étude sur l'oral et le dialogue
LIG - Laboratoire d'Informatique de Grenoble
Résumé : Cet article pose les problèmes généraux, concepts et principes concernant les interfaces homme-machine multimodales :
- l'usage et l'adéquation des modes de communication ;
- le contexte d'interaction : concurrent, alterné, composé, parallèle ;
- la gestion des événements bas niveaux (cohérence, chronologie, redondance, etc.) ;
- la fusion des informations ;
- leur interprétation (coréférence) ;
- les niveaux d'abstraction et de représentation.
On situe quelques uns de ces points à travers une taxonomie des interfaces.
On aborde le difficile problème de la coréférence entre les modes, placé dans une perspective de fusion d'informations auquel on propose une solution. Une application multimodale de conception de dessin ICPdraw est décrite pour en illustrer le propos. ICPdraw est construit sur une architecture en couches comprenant :
- des cartes de reconnaissance et de synthèse dédiées ;
- des serveurs d'événements ;
- un gestionnaire des modes ;
- un contrôleur de dialogue ;
- une interface de communication avec le noyau fonctionnel de l'application.
Document type :
Conference papers
Complete list of metadatas

https://edutice.archives-ouvertes.fr/edutice-00000506
Contributor : Florence Galand <>
Submitted on : Monday, July 5, 2004 - 3:25:00 PM
Last modification on : Friday, October 25, 2019 - 1:29:52 AM
Long-term archiving on : Monday, March 29, 2010 - 9:18:45 PM

Identifiers

  • HAL Id : edutice-00000506, version 1

Collections

Citation

Jean Caelen. Interaction et multimodalité. Troisième colloque Hypermédias et Apprentissages, May 1996, Châtenay-Malabry, France. pp.11-32. ⟨edutice-00000506⟩

Share

Metrics

Record views

219

Files downloads

278