Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
AVATAR ANIMATING METHOD AND DEVICE FOR COMMUNICATING IN A NON-IMMERSIVE COLLABORATIVE VIRTUAL ENVIRONMENT
Document Type and Number:
WIPO Patent Application WO/2002/058011
Kind Code:
A1
Abstract:
The invention concerns a method for animating avatars corresponding to people for communication in a non-immersive virtual environment between people. The invention is characterised in that the method consists in: using means to provide intentional functions (action, perception and expression) of a person and to supply corresponding data; then analysing the behaviour of the person; and finally, representing said virtual environment and the avatars, at each cycle.

Inventors:
LE MER PASCAL (FR)
SAUGIS GREGORY (FR)
Application Number:
PCT/FR2002/000236
Publication Date:
July 25, 2002
Filing Date:
January 21, 2002
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
FRANCE TELECOM (FR)
LE MER PASCAL (FR)
SAUGIS GREGORY (FR)
International Classes:
G06T13/00; G06T17/00; (IPC1-7): G06T17/00
Foreign References:
EP0753836A21997-01-15
EP0696018A21996-02-07
Other References:
PINA A ET AL: "Computer animation: from avatars to unrestricted autonomous actors (A survey on replication and modelling mechanisms)", COMPUTERS AND GRAPHICS, PERGAMON PRESS LTD. OXFORD, GB, vol. 24, no. 2, April 2000 (2000-04-01), pages 297 - 311, XP004236377, ISSN: 0097-8493
PRAKASH E C: "A HUMAN TOUCH FOR INTERNET TRAINING: THE VIRTUAL PROFESSOR", PROCEEDINGS OF IEEE TENCON'99. IEEE REGION 10 CONFERENCE. MULTIMEDIA TECHNOLOGY FOR ASIA-PACIFIC INFORMATION INFRASTRUCTURE. THE SILLA CHEJU, CHEJU ISLAND, KOREA, SEPT. 15 - 17, 1999, IEEE REGION 10 ANNUAL CONFERENCE, NEW YORK, NY: IEEE, US, vol. 2 OF 2, 15 September 1999 (1999-09-15), pages 938 - 941, XP000956534, ISBN: 0-7803-5740-X
See also references of EP 1358632A1
Attorney, Agent or Firm:
Beaufils, Yves (4 rue Général Hoche, Lorient, FR)
Download PDF:
Claims:
REVENDICATIONS
1. Procédé d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre lesdites personnes au moyen d'un terminal muni d'un écran d'affichage et de périphériques, le terminal comprenant des moyens de commande d'animation et d'affichage d'images correspondant à l'environnement vi : rtuel =avec des avatars, à partir d'informations reçues de ses périphériques et d'un réseau de communication auquel il est relié, caractérisé en ce qu'il comprend : la mise en oeuvre de moyens pour assurer des fonctions intentionnelles (action perception et expression) d'une personne et la fourniture d'informations correspondantes, puis une analyse du comportement de la personne comprenant un cycle consistant à effectuer les opérations suivantes N fois : scrutation de l'arrivée d'informations sur les fonctions intentionnelles, détection d'intentions à partir des informations reçues, détermination du mode d'animation de l'avatar dans l'environnement virtuel correspondant à la personne selon l'intention détectée pour cette personne ; et enfin, représentation dudit environnement virtuel et des avatars, à chaque cycle.
2. Procédé d'animation d'avatars selon la revendication 1, caractérisé en ce que la mise en oeuvre de fonctions intentionnelles comprend la capture du comportement de la personne utilisatrice et la capture d'interactions pour une action dans l'environnement.
3. Procédé d'animation d'avatars selon la revendication 2, caractérisé en ce que la capture du comportement comprend la capture de comportement sémiotique adressé et/ou sémiotique nonadressé, ergotique épistémique.
4. Procédé d'animation d'avatars selon l'une quelconque des revendications précédentes, caractérisé en ce que la détection d'intention comprend par unité d'expression la détermination du type d'intention prédéfini, à savoir : sémiotique nonadressé, sémiotique adressé, ergotique ou épistémique.
5. Procédé d'animation d'avatars selon l'une quelconque des revendications précédentes, caractérisé en ce que le mode d'animation de l'avatar correspondant à la personne correspond à : une animation isomorphique de l'avatar par rapport au comportement de la personne dans le cas où le type d'intention est sémiotique non adressée, une animation adressée de l'avatar (regard, désignation de la. main) dans le cas où le type d'intention est sémiotique adressée. une génération d'une posture et d'un comportement symbolisant l'actionde la personne dans le cas où le type d'intention est ergotique ou épistémique, Une génération d'une posture et d'un comportement symbolique dans le cas où le type d'intention n'est pas prédéfini.
6. Procédé d'animation d'avatars selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend la mise en oeuvre d'un retour visuel sur le terminal de l'utilisateur permettant de réguler le mode d'animation.
7. Dispositif d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre les personnes, comprenant un terminal (T) muni d'un écran d'affichage (E) et de périphériques d'entrée, le terminal comprenant des moyens d'affichage (UC) de l'environnement virtuel et d'avatars à partir d'informations reçues de ses périphériques et d'un réseau de télécommunication, caractérisé en ce que le terminal comporte : des moyens (A, B) pour mettre en oeuvre des fonctions intentionnelles d'un utilisateur du dispositif et fournir des informations correspondantes, des moyens (L) pour détecter les intentions à partir des informations reçues et pour déterminer le mode d'animation, des moyens (UC) pour animerl'avatar correspondant selon l'intention détectée par les moyens de détection.
8. Dispositif d'animation d'avatar selon la revendication 7, caractérisé en ce que les moyens pour mettre en oeuvre les fonctions intentionnelles comportent des capteurs de comportements (A) et des capteurs pour les actions dans l'environnement (B).
9. Dispositif d'animation d'avatar, selon la revendication 8, caractérisé en ce que les moyens pour mettre en oeuvre les fonctions intentionnelles comportent des capteurs de comportements intentionnels adressés et/ou des capteurs de comportements intentionnels non adressés.
10. Dispositif d'animation d'avatar selon les revendications 8 ou 9, caractérisé en ce que les différents capteurs sont des périphériques d'entrée (A, B) du terminal (T).
11. Dispositif d'animation d'avatar selon l'une quelconque des revendications 8 à 10, caractérisé en ce.. que la capture du comportement est réalisée par une ou plusieurs caméras, un ou plusieurs radars, un ou plusieurs microphones.
12. Dispositif d'animation d'avatar selon l'une quelconque des revendications 7 à 11, caractérisé en ce que la détection d'une action de l'environnement est réalisée par des périphériques de pointage, de manipulation/navigation.
13. Dispositif d'animation d'avatar selon l'une quelconque des revendications 7 à 12, caractérisé en ce que les moyens pour détecter les intentions à partir des informations reçues comportent un module logiciel de détection d'intention et de détermination du mode d'animation.
14. Dispositif d'animation d'avatar selon la revendication 13, caractérisé en ce que le module logiciel est apte à détecter la non activité ou un comportement de l'utilisateur qui n'est pas en rapport avec l'activité.
Description:
PROCEDE ET DISPOSITIF D'ANIMATION D'AVATAR POUR ASSURER LA COMMUNICATION DANS UN ENVIRONNEMENT VIRTUEL COLLABORATIF NON- IMMERSIF L'invention concerne un procédé d'animation d'avatar pour assurer la communication dans un environnement virtuel collaboratif. non immersif.

On désigne par Environment Virtual Collaboratif (ECV) un environnement virtuel qui permet à plusieurs personnes de collaborer à distance, le matériel utilisé étant relié par réseau (on parle aussi d'environnement distribué). Dans de nombreux EVC, des avatars sont introduits pour assurer la représentation plus ou moins réaliste ou ressemblante de chaque personne. A titre d'exemple, on peut se reporter au projet décrit dans la référence [3] ci-après, pour illustrer ce que l'on entend par ECV.

Ces techniques. soulèvent le problème de la conception d'une interface homme machine (IHM). En effet, chaque utilisateur doit pouvoir interagir avec l'environnement virtuel mais également s'identifier à son « corps virtuel » instancié par un avatar, pour véhiculer les informations non-verbales (gestes, mimiques) relatives à la

communication et l'action entre les utilisateurs.

L'invention propose un nouveau concept d'interface homme machine permettant d'interagir avec l'environnement virtuel et communiquer à travers son propre avatar (ou clone), dans un contexte « bureautique ».

Dans toute la suite on parle d'avatar. On peut également trouver le terme de clone dans la littérature pour le mme concept.

.. Nous. entendons ;, par.. contexte «-bureautique », un terminal qui ne contraint pas l'utilisateur à utiliser un système de périphériques intrusif pour s'immerger dans l'environnement virtuel. En d'autres termes, l'utilisateur doit avoir pleine possession de ses différents sens pour agir avec l'environnement réel (e. g. décrocher son téléphone, se déplacer, etc.).

Une caractéristique des contextes bureautiques est qu'ils utilisent des périphériques adaptés (e. g. souris pour Windows^, périphériques 3D pour la CAO dans le secteur automobile) 'dont on ne suppose pas le type ou l'utilisation.

État actuel de la technique Actuellement on trouve deux grandes catégories de systèmes qui permettent de médiatiser la communication à travers un avatar dans les environnements collaboratifs.

Soit c'est l'utilisateur qui est à l'origine du comportement de l'avatar, auquel cas on parlera d'animation intentionnelle des avatars ; Soit le système interprète l'activité collaborative pour animer l'avatar, on parlera alors d'animation interprétée.

* L'animation intentionnelle des avatars - On trouve deux approches pour animer de façon intentionnelle un avatar : Les-. systèmes de type « télévirtualité » [1] qui grâce par exemple à une technique vidéo ou une capture magnétique, permettent de restituer le comportement de l'utilisateur face à son terminal à travers son avatar (e. g. expressions faciales, gestes de communication, etc.). On peut capturer des expressions faciales et les reproduire à travers l'avatar. La technique permet également aujourd'hui de détecter [6] et reproduire les gestes [4,5] (i. e. bras, corps, etc.) comme on peut le voir figure 1.

Les systèmes de type « body chat » où chaque action (interaction avec l'environnement) et chaque comportement d'avatar est activé par une interface de commande avatar [2].

On trouve de nombreux exemples de ce type de fonctionnement dans le monde télévisuel.

* L'animation interprétée des avatars : L'idée est ici de donner un comportement à un avatar pour signifier l'activité de chacun dans l'environnement. C'est alors le système qui gère son comportement en le choisissant dans une base de comportements pré-calculés. L'interface IHM permet à l'utilisateur d'agir dans le monde, alors que l'on peut voir à écran du terminal le comportement de l'avatar symboliser ce qu'il fait. On pourra trouver un exemple dans la référence [8].

On pourra se reporter aux références bibliographiques suivantes : 1. Équipe de Télévirtualité de l'INA, http ://www. ina. fr/TV/ 2. Guye-Vuillème, A., Capin, T., Pandzic, I., Magnenat Thalmann, N., Thalmann, D., Nonverbal Communication Interface for Collaborative Virtual Environnements, Proc. CVE 98, 1998.

3. Plenacoste, P., Chabrier, N., Dumas, C., Saugis, G., Chaillou, C. ; Interfaces 3D : Interaction et Evaluation IHM 97.

4. Tolani, D., Badler, N. I., Rea- Time Inverse Kinematics of the Human Arm, Presence, 1996, Vol 5 (4), pp. 393-401.

5. W. Chin, K., Closed-form and generalised inverse kinematic solutions for animating the human articulated structure, BSCH (Computer Science) of Curtin University of Technology, 1996-.

6. Marcel, S., Bernier, 0., Collobert, D., Approche EM pour la construction de régions de teinte homogènes : application au suivi du visage et des mains d'une personne, Coresa 2000, octobre 2000.

7. Marcel, S., G., Bernier, 0., Viallet, J. E., Collobert, D., Hand Gesture Recognition using Input-Output Hidden Markov Models, In International Conference on Automatic Face and Gesture Recognition, march 2000, pp 456-461.

8. Benford, N., Greenhalgh, C., Bowers, J., Snowdon, D., E., Fahlen, L., User Embodiment in Collaborative Virtual Environnements, Proceedings of CHI'95, 1995, pp. 224-248.

Inconvénients des techniques antérieures Les systèmes existants basés sur les principes présentés précédemment étant soit

intentionnels, soit interprétés, ne permettent pas d'exploiter simultanément les gestes sémiotiques, ergotiques et épistémiques de l'utilisateur. Ces différents comportement sont illustrés dans la référence Cadoz, C., le geste canal de communication homme/machine, techniques et sciences informatiques, 1994, vol. 13, pp. 31-61.

En d'autres termes, ces systèmes ne permettent pas de reproduire simultanément les gestes d'expressions (c'est-à-dire par exemple désigner quelqu'un du bras) et les gestes d'action et de perception (c'est-à-dire par exemple manipuler un objet du monde virtuel ou changer de point de vue) de l'utilisateur, sans utiliser des technologies immersives.

Le problème réside dans le fait, que si le système est de type télévirtualité (comme illustré sur la figure 1) et que l'utilisateur exerce un geste ergotique (par exemple il saisit sa souris pour interagir avec le système), alors l'animation de l'avatar n'aura aucune cohérence avec les actions de l'utilisateur. Dans : le cas contraire, si cet avatar est animé tel que cela est décrit à propos de l'animation interprétée, alors l'avatar ne peut pas reproduire le comportement de l'utilisateur.

But de l'invention Le but de l'invention est d'offrir à un utilisateur un procédé et un dispositif lui permettant de communiquer en s'exprimant de façon naturelle (c'est-à-dire : verbale et non-verbale, de manière à conserver la richesse des gestes co-verbaux de l'tre humain) avec d'autres personnes tout en disposant d'une possibilité d'interaction avec l'environnement virtuel commun, à travers un terminal bureautique.

Le dispositif permet de proposer une représentation réaliste d'un utilisateur dans un environnement virtuel commun, dans lequel il peut interagir et communiquer de façon non- verbale sans tre contraint par un système intrusif. A travers ce dispositif, on peut par exemple envisager des services de télécommerce, de téléconception, de téléenseignement, téléconférence, jeux, etc.

En situation de collaboration réelle, on considère que trois comportements sont important au vu de la communication. Il s'agit de l'action sur l'environnement, de la perception de celui-ci et de l'émission d'informations à destination d'autrui.

On appelle respectivement ces comportements : ergotiques, épistémiques et sémiotiques. On propose selon l'invention de virtualiser ces comportements.

L'invention a plus particulièrement pour objet un procédé d'animation d'avatars correspondant à des personnes pour assurer la communication dans un environnement virtuel non immersif entre ces personnes au moyen d'un terminal muni d'un écran d'affichage et de périphériques d'entrée ; le terminal comprenant des moyens de commande d'animation et d'affichage d'images correspondant à ltenv. ironne ! ment virtuel avec des bavatars, à partir d'informations reçues de ses périphériques et d'un réseau de communication auquel il est relié, caractérisé en ce qu'il comprend : - la mise en oeuvre de moyens pour assurer des fonctions intentionnelles (action perception et expression) d'une personne utilisatrice et la fourniture d'informations correspondantes, puis une analyse de comportement comprenant un cycle consistant à effectuer les opérations suivantes N fois : - scrutation de l'arrivée d'informations sur les fonctions intentionnelles, - détection d'intentions à partir des informations reçues, - détermination du mode d'animation de l'avatar dans l'environnement virtuel

correspondant à la personne selon l'intention détectée pour cette personne et enfin, - représentation de l'environnement. virtuel et des avatars sur l'écran du terminal, à chaque cycle.

L'invention a également pour objet un dispositif d'animation d'avatars correspondant à des personnes pour assurer la communication dans... un e. nv, ironneme, nt, virtuel non immersif entre les personnes, comprenant un terminal muni d'un écran d'affichage et de périphériques d'entrée, le terminal comprenant des moyens d'affichage de l'environnement virtuel et d'avatars à partir d'informations reçues de ses périphériques et d'un réseau de télécommunication, caractérisé en ce que le terminal comporte : - des moyens pour mettre en oeuvre des fonctions intentionnelles d'un utilisateur dudit dispositif et fournir des informations correspondantes, - des moyens pour-détecter les intentions à partir des informations reçues et pour déterminer le mode d'animation, - des moyens pour animer l'avatar correspondant selon l'intention détectée par les moyens de détection.

D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante faite à titre d'exemple non limitatif en regard des figures-annexées qui représentent : la figure 1, une image et sa représentation virtuelle avec capture de mouvement et animation ; la figure 2, les étapes du procédé selon l'invention ; -la figure 3,-le-synoptique du fonctionnement général ; la figure 4 le schéma d'un dispositif selon l'invention ; la figure 5, les détails de l'algorithme d'analyse du comportement et d'animation ; -la figure 6, une illustration d'une partie de jeu de carte ; la figure 7, une illustration de cette partie dans le cas où les joueurs sont distants et utilisent le procédé de l'invention.

Description détaillée Après une longue analyse des technologies existantes mais insatisfaisantes, les inventeurs ont développé un nouveau système (procédé et dispositif) mettant en oeuvre les fonctions de communication intégrant les

comportements qui viennent d'tre définis.

Selon l'invention, le procédé et le dispositif permettent d'exploiter quatre types de comportements intentionnels : Les actions ; par utilisation des périphériques d'interactions spécialisés (par exemple un système à retour d'effort).

Les comportements intentionnels non- adressés (par exemple les gestes co-verbaux, expressions faciales, etc.) ; par capture (par e-xemple la vidéo) d=du comportement réel-de l'utilisateur.

Les comportements intentionnels adressés (regarder quelqu'un, passer la parole, montrer quelque chose, faire un signe de bienvenue, etc.) ; par un organe matériel ou logiciel de désignation (par exemple un écran tactile ou détection logicielle de geste déictique).

Les comportements sans rapport avec l'activité collaborative (par exemple décrocher son téléphone).

Pour passer d'un type de comportement à l'autre, on propose d'utiliser un système d'interprétation d'intention de l'utilisateur.

On peut en effet savoir si un comportement est par exemple de type adressé, symbolique ou ergotique en exploitant le canal vidéo [7].

Dans le procédé proposé, illustré par le schéma de la figure 2, l'analyse du comportement de l'utilisateur fonctionne en

permanence : ceci correspond à la boucle N de l'algorithme de la figure 2.

Cette analyse du comportement est interprétée et permet de définir un mode d'interaction. Le module du retour visuel illustré sur la figure 3, permet alors à l'utilisateur de savoir dans quel mode est le système, ce qui peut servir de régulateur s'il y a ambiguïté sur l'état de celui-ci. En effet, suivant le mode d'interaction, le <BR> <BR> . dis'positi-f (1 interface I. HM). de l'utilisateur affiche des retours visuels adaptés au type d'interaction et l'avatar de l'utilisateur a un comportement conséquent. Ces opérations sont illustrées par le schéma de la figure 2 et les étapes I à VI de cette figure.

La figure 3 représente le schéma synoptique du fonctionnement général du système proposé.

Le système met en oeuvre : .-Un environnement virtuel distribué au moyen de plusieurs terminaux T distants affichant des avatars représentant chaque utilisateur. Chaque utilisateur à un point de vue de l'environnement global.

Chaque terminal T comporte : - des moyens de captures A du comportement : c'est-à-dire mouvement de la tte, du corps et des mains, de l'utilisateur derrière son terminal (ex : caméra, radar, etc.).

- des périphériques d'entrée d'interaction spécialisés B (ex : souris, SpaceMouseTX, etc.) pour une activité collaborative quelconque (ex : conception d'une automobile).

-un module logiciel L de détection d'intention et de détermination d'animation utilisant les données provenant des périphériques d'entrée.

Ce dispositif permet : - une représentation de l'utilisateur par . u.. n avatar dans un environnement virtuel. commun.

-L'avatar d'un utilisateur est tantôt animés à partir d'une bibliothèque de comportements pré calculés, placée dans le système et tantôt guidé en fonction des gestes de l'utilisateur.

- Le dispositif s'adapte en fonction des intentions de l'utilisateur-en donnant des retours visuels adaptés ; ceci pour qu'il ait conscience de son niveau de « virtualisation ».

-La sélection de mode n'est pas binaire ; c'est à dire que--le dispositif permet de combiner un comportement sémiotique et ergotique (ex : regarder quelqu'un en manipulant un objet).

On va décrire ci dessous quelques exemples de périphériques utilisés pour assurer les fonctions intentionnelles. La figure 4

illustre ces exemples de périphériques. On peut se reporter également au schéma de la figure 3 : Sémiotique adressé ; on envisage deux cas possibles : (1) L'utilisateur fait des gestes ergotiques pour assurer la fonction sémiotique adressée de l'avatar. On peut par exemple utiliser les périphériques suivants : - Un écran tactile : permet à l'utilisateur de désigner, - Périphérique d'adressage : des périphériques spécifiques (souris, SpaceMouseT'*') permettent d'adresser un comportement, - Périphérique de pointage-manipulation et de navigation : on peut exploiter ces périphériques en excluant leurs fonctions ergotiques et épistémique (ex : en utilisant un bouton particulier).

(2) L'utilisateur fait des gestes sémiotiques pour assurer la fonction sémiotique adressée. de l'avatar.

- C'est-à-dire que l'utilisateur exploite les mouvements de la tte et des mains en excluant leur fonction sémiotique non-adressée (ex : en utilisant une zone d'influence de la tte ou des mains [7]).

On remarque que dans ce cas il n'y a pas nécessité d'avoir un périphérique d'adressage comme illustré sur la figure 3.

Sémiotique non-adressé -Un microphone : son utilisation permet de déterminer les visèmes à reproduire dans l'animation de l'avatar lorsque l'utilisateur parle.

- Une ou plusieurs caméra (s) : leur utilisation permet de capter la position et l'orientation du corps, de la tte et des mains de l'utilisateur dans l'espace.

Ergotique-Epistémique - On utilise ici les périphériques spécifiques pour toute action dans l'environnement (ex : souris et SpaceMouse pour la conception de véhicule automobile ; phantom Tl' (marque déposée) pour une activité de sculpture 3D ; etc.) Le module de détection d'intention et de détermination du mode est illustré par les étapes détaillées de la figure 5. Ce module fonctionne pour chaque unité minimale d'intention ; à savoir : les mains, le corps et la tte. Bien évidemment, les comportements ergotiques et épistémiques de la tte et du corps sont limités.

On n'a pas ici décrit toutes les façons de déterminer l'intention de l'utilisateur, étant donné que les périphériques utilisés ne sont précisés qu'en terme de catégorie (périphériques de capture de posture, de pointage, de manipulation et de navigation, etc.).

Néanmoins il existe des combinaisons d'utilisation des dispositifs d'interaction qui ne présentent pas d'ambiguïté sur le mode d'ans ;'lequel l'-utilisateur'souhaite'"mettre.. le- système.

Exemples : -Si le dispositif de pointage est utilisé, alors le système est en mode ergotique-épistémique pour cette main.

-Si le dispositif ne détecte pas la présence de 1'utilisateur, alors le système est « hors activité ».

- Etc.

Le passage d'un mode à l'autre ce fait de façon explicite. I1 n'y a pas d'analyse sémantique de haut niveau de la part de la machine. Si toute'fois il y avait ambiguïté sur l'intention, le module de retour visuel permet à l'utilisateur de réguler la situation en agissant sur un périphérique.

Lors de l'affichage et du rendu, l'utilisation d'un avatar pour la représentation de l'utilisateur permet de

réaliser des interpolations entre les différentes postures. Le dispositif peut donc effectuer un passage fluide d'un mode à l'autre dans le rendu.

Afin d'illustrer l'intért du procédé, on va décrire une activité collaborative réelle et la manière dont elle serait réalisée à distance en utilisant ce procédé. Dans cette description, on va proposer une réalisation technique du concept, ainsi que des métaphores visuelles adaptées-qui ont nécessité des choix arbitraires. On considérera que ces choix à but démonstratif ne sont pas limitatifs.

Description d'une activité réelle : « Le jeu de carte » Dans une scène réelle schématisée sur la figure 6, quatre personnes jouent aux cartes.

Pendant cette activité collaborative, ils vont communiquer de façon verbale et non-verbale, et ils vont manipuler des objets communs (cartes, feuille et crayon pour noter les points). L'exemple du jeu de carte est très pertinent pour démontrer l'intért du procédé, parce que dans les situations réelles de jeu, les joueurs utilisent beaucoup la communication non-verbale, notamment lors de l'établissement de coalitions pendant le déroulement du jeu. Et c'est notamment sur ce point que le procédé à un intért par rapport aux autres outils de médiatisation classiques.

Voici une suite de comportements de joueurs relevés durant une partie de carte : 1. Échanges verbaux pour savoir qui va distribuer les cartes ; 2. Le joueur 1 lève la main pour dire qu'il va le faire et s'empare du jeu de carte ; 3. Le joueur regarde le joueur 3, qui connaît bien le jeu, pour lui demander combien de cartes il faut distribuer ; 4. Le joueur 3 répond au joueur 1 ; 5. Le joueur 1 distribue les cartes ; 6. Le joueur 1 désigne le joueur 2 du doigt en le regardant et lui dit « c'est à toi de commencer... » ; 7. Le joueur 2 pose une carte et regarde le joueur 3 pour lui signifier que c'est à lui de poser la suivante ; 8. Le joueur 3 hésite ; il fronce les sourcils et regarde son jeu pour montrer qu'il réfléchit ; 9. Le joueur 3 pose une carte en faisant une réflexion à tout le monde, sur la carte qu'il vient de jouer ; 10. Le joueur 4 pose une carte ; 11. Le joueur 3 désigne successivement le joueur 4 et le jeu en disant qu'il « n'a pas le droit de jouer cette carte... » ; 12. Le joueur 4 reprend sa carte et rejoue ;

13. Le joueur 1 regarde son partenaire le joueur 3 d'un regard insistant et en tapant sur la table pour lui faire comprendre qu'il a mal joué précédemment ; puis prend une carte dans la pioche en grimaçant ; 14. La partie suit son cours 15. Le joueur 2 pause la dernière carte et regard son partenaire le joueur 4, en souriant pour lui montrer sa satisfaction ; 16. Le joueur 1 prend le crayon et la feuille et compte les points - 17. Les autres joueurs se penchent sur la feuille pour voir le total des points ; 18. Les joueurs discutent entre eux de la partie ; 19. Le joueur 2 ramasse les cartes puis les distribue pour une nouvelle partie.

Description de cette mme activité à distance en utilisant le procédé de l'invention.

On imagine que les mmes joueurs doivent maintenant participer à la mme partie de cartes à distance, en utilisant le procédé.

Chacun possède la configuration matérielle illustré par la figure 7, et chacun a une vue personnalisée de la scène, c'est-à-dire la table de jeu (avec les cartes, un papier pour noter les points et un crayon) et les autres joueurs représentés par des avatars.

On va décrire dans ce qui suit la manière dont les moyens techniques sont exploités pour analyser les comportements de l'utilisateur et pour animer les avatars à distance.

+ Comportements utilisateur/utilisation de capteurs : Les interactions de type ergotiques (i. e. action sur les objets de l'environnement virtuel) se font de la manière suivante : - Utilisation du périphérique de point-age p-ouricontrôler le poi-nteur 3D de façon classique.

Utilisation du périphérique de manipulation et de navigation (Space Mouse) pour agir sur un objet sélectionné.

Il y a plusieurs approches connues pour réaliser les comportements sémiotiques adressés, mais on ne va décrire ici que la méthode que l'on appelle « sémiotique instrumentée ». Il y a une autre technique qui est basée sur le mouvement naturel des mains et de la tte.

La technique sémiotique adressée instrumentée permet de contrôler le regard de son propre avatar et les gestes de désignation d'une main : - On utilise un périphérique de pointage en cliquant sur un bouton particulier pour « incarner » la main virtuelle de son avatar

afin de désigner quelque chose. Deux retours visuels permettent de savoir que l'on réalise alors l'intention de désignation et de la contrôler ; il s'agit d'une métaphore de sa main virtuelle et d'une sur-brillance de l'objet « désigné » par un rayon.

- On utilise un périphérique de manipulation et de navigation (SpaceMousetM en cliquant sur un bouton particulier pour contrôler le regard de son avatar. De la mme manière que pour-le geste de désignation deux retours visuels apparaissent. Il s'agit d'une métaphore de ses yeux virtuels et d'une sur- brillance de l'objet « regardé ».

On remarque ici que le mode sémiotique adressé est détecté par l'appui sur un bouton particulier de chaque périphérique.

Les gestes sémiotiques non-adressés sont détectés : - Pour les mains dès lors que les périphériques ne sont pas actionnés alors que des mouvements significatifs sont captés par le module de capture de comportement.

- Pour la tte dès lors que des mouvements significatifs sont captés par le module de capture de mouvement.

- Pour le corps dès lors que des mouvements significatifs sont captés par le module de capture de mouvement.

- Pour les expressions faciales dès lors que des expressions significatives sont

captées par le module de capture d'expressions faciales.

On remarque que l'on peut combiner plusieurs comportements simultanément. Par exemple : une désignation de la main, tout en regardant quelque chose ou quelqu'un et en bougeant la tte et. en exprimant une mimique faciale particulière.

Comportement des avatars/mode d'animation. : Étant donné que le mode de comportement de chaque utilisateur est géré au niveau du terminal, la posture exacte de l'avatar est calculée au niveau de ce terminal. Ceci à l'exception de la direction des gestes et des regards adressés, puisque ceux-ci dépendent de la position de l'avatar à distance et de la disposition de la scène.

À distance, les informations reçues sur les avatars sont de deux types - Un vecteur d'état c'est à dire les postures instantanées que doivent prendre les avatars à chaque instant.

- Des informations d'adressage sur les objets regardés ou désignés. Plus précisément une information pour les yeux et une autre pour chaque main.

C'est donc à distance, en fonction de l'arrangement de la scène et la position de

l'avatar, que l'on exploite l'information d'adressage pour animer les yeux et les mains de l'avatar.

On va décrire maintenant dans le tableau 1 qui suit, les comportements qu'un utilisateur aura derrière son terminal, s'il veut restituer au. mieux la suite de comportements décrite précédemment à partir d'une situation réelle (notamment sur les comportements non verbaux). FONCTION COMPORTEMENT DE ANALYSE ET COMPORTEMENT L'UTILISATEUR , COMP. ÔRTEMENT. DU DE L'AVATAR O9, ; 4s> ;-x S Y S T E M E-l lEçhangesj-H parle dans son e. spnes. t, trànsmis ; :. a..'-. Son avatar verbaux microphone et écoute dlstanicfe,.. labialise les sons pour savoir avec son casque qu'il prononce et qui va' ;-.- !'. '--"..--. . prend les q qui va prend les les cartes faciales analysées par le système de détection 'expression faciale 2.'-lève la-Il lève naturellement- : Le module. de capture-Son avatar main.... le bras dujcomportëment,... reproduit main... ex t un. mouyem. èiit strictement le inténtionnëlv... ; mme mouvement ..,,,. d', èxpressi, Fon inon-..] de bras verlïale : I1, gèrè le :. : ., moae. semiot*' ...,, : adressé du. bras... Il utilise les ;-., Le système. 7détecte, : 7'.,-Son avatar s'éïripâré clu , périphériques.. gii' : il. ütilise ûïi'. ; ; adopte des jeu de.. d'action pour periphei, ique d'action. apostures. pré- ca'r'te ; :'manipuler des cartes Il~pa'sse : ën mode.'-., calculées pour virtuelles ac. ion.,.. signifier qu'il manipule des -- : cartes 3.-. r, egarder. >-II manipule le--L ! é, systèrn, e : détecte-Son avatar e'systeme-, lëjoûeur 3.'périphérique de l'intention de passer regarde l'avatar 3 p ; oûr lm', 'manipulation et de dans un. mode. ; : toutes les faire, ;. navigation en s'émiotique adressée et ;-interfaces ; et comprendre-cliquant sur le bouton. fait apparaître. la.. dans l'interface 3 que. c. es a permettant d'activer met' ù1.. qu., i, le contrôle du regard, vyfuel â'fnn dëdoïiïier"l'utilisateur (_qui e. -. j, vi est le joueur 3)., de-co. ntrôlér le "i a r'ègå'r'd ; de'so n. av'atår. \ -. pour lui-II lui parle Lebson. est. transmis à-Son avatar naturellement labialise les sons u'il prononce et - °w, ; le son est spatialisé en :, fonction de la position et de PO ""l'orientation de la 1 tte de l'avatar , dans l'interface. 4. joûeur'-3.'-Il lui parle : Lé''sonëst/transmis"a Son avatar répond2'aú~'naturellement distarfce. ~ abialise les sons . : _, :. :, 'ùëiii : l :.,.' :- rt :. ..., u il rononce 5 : :-Lë joueur. - II utilise les -'. e. syStëm ; e. Son avatar prend 1 i périphériques qu'il, utilise W S, -7 ty une posture pré- ers ers distribu : è deaction pour Peri Ifl calculée qui signifie qu'il distribuer les ca qu ryes '-''.. -. manipuler. les,' ;. çartes.' :'Il : manipule. les whip, lâssé,. eriviriâé : . âctin,"cartes 6.Le joueur'-II manipule le ~tLe : systèrneidétecte ~-Sonavatar 1. désigne périphérique d'action l'intention. de-passer regarde et désigne de la., main. _ ; en cliquant sur le @>, é.'.,','"~ I'avatar 2 dans lef oueur 2. i bouton permettant'sémiôtiqûé adressee et. ; toutes les , d'activer le contrôle fait appârâitié4'lâ r interfaces ; et dans l'interface 2 adresse rtu regarde et désigne -..'d'o'riner.'à'si'. utilis''äteu'r': I'utilisateur (qui . . _ : = ; e.contrôler' est le joueur 2). estJ) -..- ; :,."-. _. ; ; .........,..... t Tableau 1 : Comportement de l'avatar par rapport au comportement de l'utilisateur