A jelnyelv és a nonverbális technikák elemzését be fogjuk vezetni a beszédfelismerő rendszerekbe

Maga a tanulmány a hangosan kimondott információk észlelésének, valamint az értékelésnek volt szentelve

gesztusok hatása.Az önkénteseket arra kérték, hogy elemezzék az emberekről készült videókat. A beszélők arca rejtve volt, de a vizsgálat résztvevői láthatták a beszélők gesztusait. A legtöbb hallgató odafigyelt a „ritmus” gesztusokra, amelyeket az emberek gyakran használnak a beszéd és a szemantikai egységek fontos helyeinek kiemelésére. Ezenkívül a válaszadók azt mondták, hogy a gesztusok segítették őket az előadás bizonyos részeire koncentrálni. És ők emlékeztek rájuk a legjobban.

Ezenkívül a gesztusok befolyásolták a szófelismerést.Például a résztvevők egy szótagot hangsúlyozottnak érzékeltek, ha abban a pillanatban a beszélő egy mozdulattal hangsúlyt fektetett. Ha a beszélő csak egy betűkészletet ejtett, de ismételten hangsúlyozta, akkor a vizsgálat résztvevői mégis a magánhangzó gesztusától függően különböző magánhangzó-hosszúságú vagy hangsúlyos szóként fogták fel.

„Az emberek nem csak a fülükkel, hanem a szemükkel is hallgatnak.Ezek az eredmények először mutatják meg, hogy a gesztusok befolyásolják a hallható hangokat." A kutatók úgy vélik, hogy a hatás erősebb lehet a mindennapi életben, ahol a beszéd jellemzően kevésbé érthető, mint a laboratóriumi kísérlet során. Így zajos környezetben a gesztusok hasznosak lehetnek.”

Hart Rutger Bosker, a tanulmány szerzője a Tudományos Kutatási Társaságtól. Max Planck

Az ilyen vizsgálatok a tudósok szerinta beszédfelismerő rendszerek javítása. Mivel a nem verbális kommunikációs eszközök - arckifejezések és gesztusok - mind a beszéd érzékelésére, mind annak szemantikai terhelésére hatással vannak. A technológiának nemcsak meg kell tanulnia felismerni a beszéd intonációját vagy tempóját, hanem azt is, hogy a beszélő miként készíti el az információt.

Lásd még:

A tudósok kifejlesztették a relativitáselmélet helyettesítőjét. Mi a "mindennek az elmélete" lényege?

Abortusz és tudomány: mi lesz a gyerekekkel, akik szülni fognak

Létrehozták a napkitöréses rakétamotor új koncepcióját