Käyttäjän ja koneen vuorovaikutus – multimodaaliliittymät

Anu Muurinen

 

Helsinki 05.10.00

Tiivistelmä

Ubicomp – tulevaisuudenkuvako?

Seminaari sl 2000 / Lea Kutvonen

HELSINGIN YLIOPISTO

Tietojenkäsittelytieteen laitos

 

 

Ihmisen ja tietokoneen väliset yhteensopivuusongelmat ovat ilmeisiä: tietokoneen yksilöllisyyden huomioiminen on lähes olematonta ja poikkeusten käsittely on verrattain vaikeaa. Ihmiset eivät kommunikoi keskenään valikoiden avulla. Tietokone taas vaatii yksinkertaistavaa formalisointia, joka saattaa aiheuttaa aiheen kontekstin häviämisen tai hämärtymisen. Käyttäjän toiveet, tavoitteet ja aikomukset ovat tulevaisuuden koneen haasteita.

Parannuskeinoja ja mahdollisuuksia tämän hetkisiin sovelluksiin on ainakin teoreettisesti lukuisia. Jo pelkästään paremmat suunnittelukäytännöt, jossa käyttäjä olisi suunnittelun lähtökohtana ja keskipisteenä, parantaisi käyttöliittymien toimivuutta. Täysin uudenlaisten käyttöliittymien toteutus tuntuu myös mielekkäältä. Kehittämällä ohjelman toimintatapoja ja muuttamalla käyttäjän kanssa tapahtuvaa vuorovaikutusta kommunikoimalla useilla eri aisteilla ovat tulevaisuuden toimintatapoja.

Ihmisen aisteista näkö ja kuulo (ääni) ovat laajalti käytössä vuorovaikuttimina koneen kanssa ja tuntoaistin (kosketus) hyväksikäyttö etenee hyvää vauhtia. Maku- ja hajuaisti ovat vielä toistaiseksi hyvin vähän käytettyjä vuorovaikuttimia, sillä ne ovat toisaalta hyvin subjektiivisia aisteja ja niiden virtuaalikäyttö luo toistaiseksi melko ylitsepääsemättömiä haasteita.

Katse käyttöliittymän apuvälineenä tuntuu kiehtovalta ajatukselta. Nykyiset käyttöliittymät toimivat valtaosin sormivoimin, ja se luo huomattavia rajoitteita käytölle. Silmänliikkeet kertovat autenttisesti kiinnostuksen kohteen, ne ovat nopeita ja luonnollisia eivätkä vaadi suurta ponnistelua. Näköaistia hyödyntäviä sovelluksia on kehitelty erityisesti vammaisille ja yleisemmin käytettynä mm. objektin valintaan. Objektin valinta voi tapahtua katseluajan, silmän räpäytyksen tai fyysisen nappulan avulla. Kokeissa katseen on havaittu toimivan hiirtä nopeammin, mutta tarkkuus on ollut vielä kehnonlaista. Katsetta on käytetty sovelluksissa myös hiiren kiihdyttimenä, jonka koetulokset ovat olleet lupaavia. Uusi käyttötapa on ollut testattaville mieleinen ja pääasiallisesti toimenpidettä nopeuttava tekniikka.

Katseenseurantalaitteet ovat jaettu karkeasti kolmeen pääluokkaan: Sähköiset, mekaaniset ja videoperusteiset menetelmät. Sähköisessä menetelmässä henkilön silmän ympärille laitetaan elektrodeja, jotka mittaavat sähköisiä muutoksia. Menetelmän heikkona puolena on sen huono tarkkuus, menetelmä on parhaassa käytössä vain suhteellisessa seurannassa. Mekaanisissa menetelmissä laitetaan henkilön silmiin kontaktilinssit, joissa on erityinen hiottu pinta. Linsseihin kohdistetaan infrapunavalo, joka kertoo silmän liikkeistä. Menetelmä on tarkka, mutta käyttäjälle toistaiseksi hyvin epämukava. Kolmannessa eli videokuvaan perustuvassa menetelmässä videokamera kuvaa joko yhtä tai kahta silmää ja kertoo näin katsojan silmän liikkeistä.

 

Puheen käyttö sovelluksissa on tutumpi ilmiö näköaistiin verrattuna. Sen selkeitä etuja ovat katseen käytön tapaan näppäimistön tarpeettomuus. Puhesovelluksia on hyödynnetty laajalti tapahtumankäsittelyssä, tiedon syötössä ja muissa tehtävissä kuten navigoinnin ja opetuksen apuvälineenä. Puhelimen käyttö, jossa käyttäjä sanoo soitettavan henkilön nimen tai etsii ko. henkilön yhteystiedot ovat esimerkkejä tapahtumankäsittelystä. Tiedon syötössä sanelukone on laajalti käytössä oleva sovellus. Myös sosiaaliset graafiset käyttöliittymät, kuten Microsoftin "Peedy" ovat suosittu kohde puhesovelluksille.

Tekniset kysymykset puheen käytössä liittyvät puheentunnistukseen (ASR = automatic speech recognition) ja puhesynteesiin (TTS = text-to-speech).

Tuntoaisti luo uusia mahdollisuuksia vuorovaikuttamiseen. Datahanska on esimerkki virtuaalitodellisuudesta, jonka avulla voidaan suorittaa esim. kirurgisia operaatioita tai fysioterapiaa olematta fyysisesti potilaan luona. Pelit ovat viihdeteollisuuden sovellus datahanskan käytöstä: kun hanskan avulla voidaan luoda käyttäjälle näennäinen esine esim. pallo käteen, onnistuu vaikka pesäpallopeli virtuaalimaailmassa.

Teksti ja kuvat ovat luonnollinen tapa välittää tietoa ihmisten kesken. Uudenlaiset multimodaaliliittymät vaativat virtuaalitodellisuutta, jossa kuva muunnetaan tekstiksi tai teksti kuvaksi dynaamisesti, käyttäjän tarpeiden ja toiveiden mukaisesti. Sisällön suunnittelu, yksityiskohtien valinta, esitystapojen valinta sekä koordinointi ovat osa-alueita, joihin dynaamisissa multimodaalisissa esityksissä täytyy perehtyä.

Tulevaisuuden multimodaaliliittymien ideana on interaktiivisuus. Tavoitteena on luoda sovelluksia, joissa vuorovaikutus ihmisen ja koneen välillä vastaisi mahdollisimman luonnollista "ihmismäistä" kommunikointia, ns. face-to-face yhteyttä.

PocketWatch, Active Map ja EventManager ovat esimerkkejä työkaluista, joiden avulla passiivinen ympäristö on muunnettu aktiiviseksi. Aktiivinen ympäristö on fyysinen tila, joka pystyy aistimaan ihmiset ja tapahtumat sisällään ja reagoimaan niihin. PocketWatch tarjoaa yksinkertaisen kyselymahdollisuuden ihmisten sijainnista tai tietyn paikan kansoituksesta. ActiveMap:llä voi katsella kartalta fyysisiä paikkoja missä haluttu henkilö on viimeksi ollut ja EventManagerin avulla voi varata tiloja ja ihmisiä ennakkoon tiettyä tapahtumaa varten.

Laajennetusta todellisuudesta hyvänä esimerkkinä toimii "In-Home Showroom", joka tekee ostotilanteista ja –päätöksistä huomattavasti helpompia. Ideana on se, että ostaja pystyy näkemään virtuaalisen huonekalun kotonaan, oikeassa ympäristössä, ennen ostopäätöstä.

Datahanskan hyödyt ja käyttö lääketieteessä on jo melko tunnettua, mutta uudenlaista palvelua tarjoaa online lääkekaappi. Kyseessä on kaappi joka tunnistaa käyttäjän kameran avulla silmistä, antaa reaaliaikaista tietoa mahdollisista terveysriskeistä käyttäjälle (esim. päivän siitepölytiedotteen) sekä neuvoo käyttäjää mahdollisten lääkkeiden tarpeellisuudesta ja annostuksesta.