Analiza języka migowego i techniki niewerbalne zostaną wprowadzone do systemów rozpoznawania mowy

Samo badanie poświęcone było postrzeganiu przez ludzi informacji wypowiadanych na głos, a także ich ocenie

wpływ gestów.Ochotników poproszono o przeanalizowanie filmów przedstawiających mówiące osoby. Twarze mówców były ukryte, ale uczestnicy badania mogli widzieć ich gesty. Większość słuchaczy zwracała uwagę na gesty „rytmiczne”, których ludzie często używają, aby podkreślić ważne miejsca w mowie i jednostkach semantycznych. Ponadto respondenci twierdzili, że to gesty pomogły im skoncentrować się na określonych fragmentach przedstawienia. I to właśnie oni pamiętali ich najlepiej.

Ponadto gesty wpływały na rozpoznawanie słów.Na przykład uczestnicy postrzegali sylabę jako akcentowaną, jeśli w tym momencie mówca akcentował gestem. Jeśli mówca wymówił tylko zestaw liter, ale ponownie akcentował, wówczas uczestnicy badania nadal postrzegali to jako słowo z różną długością samogłosek lub akcentem, w zależności od gestu mówiącego.

„Ludzie słuchają nie tylko uszami, ale także oczami.Wyniki te pokazują po raz pierwszy, że gesty wpływają na to, jakie dźwięki słyszymy.” Naukowcy uważają, że efekt może być silniejszy w życiu codziennym, gdzie mowa jest zazwyczaj mniej zrozumiała niż podczas eksperymentu w laboratorium. Dlatego w hałaśliwym otoczeniu gesty mogą być przydatne”.

Hart Rutger Bosker, autor badania z Towarzystwa Badań Naukowych. Maxa Plancka

Takie badania, zdaniem naukowców,ulepszyć systemy rozpoznawania mowy. Ponieważ niewerbalne środki komunikacji - mimika i gesty - wpływają zarówno na percepcję mowy, jak i na jej ładunek semantyczny. Technologia powinna nie tylko nauczyć się rozpoznawać intonację lub tempo mowy, ale także nauczyć się, jak mówca przygotowuje informacje za pomocą gestów.

Zobacz także:

Naukowcy opracowali substytut teorii względności. Jaka jest istota „teorii wszystkiego”?

Aborcja i nauka: co stanie się z dziećmi, które będą rodzić

Powstała nowa koncepcja silnika rakietowego z rozbłyskami słonecznymi