Як смарт-дисплеї спостерігають за господарем і управляють розумним будинком

Розумний дисплей – це розумний пристрій, який складається з динаміка та екрану.Має вбудовані мікрофони дальнього радіусу дії

Дії, динаміки, а голосовий помічник відповідає за зв'язок з користувачем.Ці пристрої також підтримують алгоритми голосового керування: движок тривожних слів, VAD (виявлення голосової активності) та інші алгоритми обробки голосу.

Екран показує відео, текстову і графічнуінформацію, з його допомогою можна робити відеодзвінки. Деякі сприймають смарт-дисплей як електронний планшет, але це концептуально різні пристрої. Інтерфейс смарт-дисплея нарочито спрощений, так як його основна мета - вирішення побутових завдань за допомогою голосового помічника: управління розумним будинком, планування і управління календарем, пошук інформації, настройка таймера або будильника.

Розумні дисплеї вміють той же, що і розумні колонки, але до цього додається додатковий функціонал. Наприклад, ось на що здатний Google Nest Hub Max:

  • Показувати відеоролики та фільми, але через особливості DRM, Netflix з'явився на Hub і Hub Max порівняно недавно, лише в липні 2020 року.
  • Відображати фотографії.
  • Шукати інформацію і показувати результати пошукуна екрані. Цікаво, що більшу частку в статистиці пошукових запитів з розумних дисплеїв займають рецепти страв - це і видає одне з найбільш популярних розташувань девайса в будинку.
  • Здійснювати відеодзвінки за допомогою Duo і Meet, а з серпня 2020 го - ще й Zoom.
  • Переводити голосові команди на іноземні мови в режимі реального часу - при цьому переклад при читанні з екрану легше осмислити.

Якщо говорити про управління розумним будинком, то вибравши потрібний девайс зі списку, можна, наприклад, в один дотик відрегулювати яскравість лампи. Дуже зручно.

Цікава також опція, доступна при реалізаціївідеодзвінків, - auto-framing (також відому, як auto-zoom або auto-pan). При автофреймінге камера фокусується на людину і «слід» за ним при пересуваннях (у межах поля зору камери зрозуміло). Це досягається за допомогою комп'ютерного зору і кропа зображення. Вперше на розумних дисплеях autoframing впровадили на Facebook Portal, а потім на Nest Hub Max. Активно цю фічу використовують Google і Facebook, і користувачі позитивно на неї реагують - це видно по Net Promoter Score.

З чого все починалося

Прообрази розумних дисплеїв без голосових помічниківз'явилися в 2000 році. Першопрохідцем в розробці пристроїв інтернету речей з екраном став 3Com, виробник цифрової електроніки (його співзасновник Роберт Меткалф придумав Ethernet). 3Com Audrey замислювалося як пристрій для кухні та мало доступ в інтернет, писати і відправляти електронні листи, а також програвати аудіо і відео.

У 2006 році анонсований перший тачскрін девайс відChumby для споживання медіаконтенту, який поклав початок однойменної лінійці пристроїв. У Sony Dash, випущеному в 2010 році, використовувалася платформа від Chumby з функціями будильника, радіо, виходом в інтернет, програванням аудіо та відеоконтенту і величезною кількістю додатків. Незважаючи на стабільну роботу девайса, в 2017 році Sony призупинили роботу обслуговуючих Sony Dash серверів без випуску іншого аналога.

Основне, що відрізняло ці пристрої від нинішніх смарт-дисплеїв - відсутність віртуального асистента, жестової, а також голосового управління.

Sony Dash 2010

Від перших моделей до буму споживчих дисплеїв

За останні три роки було випущено понад 30 моделей розумних дисплеїв тільки з США та ЄвропиУ червні 2017 року Amazon запустила продажі свого першого розумного дисплея Amazon Echo Show, а у вересні того ж року продажі Echo Spot, розумного будильника з екраном і голосовим помічником.

До літа 2018 року онлайн-гігант мав монополію на ринку смарт-екранів, поки Lenovo і JBL не випустили свої пристрої з Google Assistant.Сама компанія Google анонсувала Google Home Hub (пізніше перейменований в Nest Hub) в жовтні 2018 року, позиціонуючи пристрій як хаб для управління розумним будинком, в той час як її партнери, які використовували Google Assistant, робили ставку на якість звуку.

Місяцем пізніше на ринок прийшов Facebook Portal cголосовим помічником Alexa від Amazon, і його головним користувальницьким сценарієм назвали відеодзвінки. Росія також не стала відставати від тренду – наприкінці 2020-го SberDevices анонсували SberPortal – перший російський смарт-дисплей із системою віртуальних асистентів на борту. До речі, дизайном російського порталу займалася команда notAnotherOne, і вже в квітні 2021-го девайс завоював найпрестижніші дизайн-нагороди - Red Dot Design та iF design awards, - і разом з ними визнання світової дизайн-спільноти. Нарешті, анонсоване нещодавно оновлення лінійки iMac хоч і не можна назвати смарт-дисплеєм, але ряд функцій почерпнуть саме в смарт-дисплеях - мікрофонна матриця з трьох мікрофонів та шість вбудованих динаміків. Ці нововведення дозволяють як використовувати пристрій для конференц-зв'язку, так і керувати функціями за допомогою голосового помічника/голосового введення (починаючи з ревізії MacOS Catalina, користувачам доступні функції розширеного голосового керування, на додаток до функціоналу Siri).

Сьогодні ми можемо спостерігати вибухове зростання сегмента смарт-дисплеїв у всьому світі.

трохи аналітики

Ринок розумних дисплеїв

Перше місце займає Амазон з 55% часткою ринку,далі Google - 33%, а Facebook - всього 2% з його трьома поколіннями пристроїв: Facebook Portal, Facebook Portal Plus і Facebook Portal Mini. Розумні дисплеї від Lenovo, JBL і LG з вбудованим Google-асистентом займають 6% ринку (без розбивки по брендам).

Зростання популярності дисплеїв наочно ілюструють цифри: в першому кварталі 2018 року частка смарт-дисплеїв становила менше 2% ринку, в першому кварталі 2019 року - 10%, а до кінця 2020 року - вже 26%.

* Global Smart Speaker Market Report Q3 2020

Станом на Q4 2020 обсяг продажів розумних дисплеїв склав трохи більше 25% від загальних продажів розумних колонок. У Q1 2018 частка продажів розумних дисплеїв менше 2%, у Q1 2019 – близько 10%

Місця розміщення розумних дисплеїв

Місця, де прийнято розташовувати смарт-дисплеї і колонки вельми прогнозовані: 44% пристроїв знаходиться в віталень, 37% пристроїв знаходяться в спальні, 32% - на кухні.

Якщо у вітальні частіше знаходяться колонки, так як функцію дисплея на себе бере телевізор, на кухні смарт-дисплеї, то в спальні панують смарт-будильники і розумний годинник.

На зображенні вище кілька представників цихпристроїв. Їх поєднує невеликий базовий екран, дозволу якого вистачає для відображення основної інформації, а також мікрофонна матриця, динамік та голосовий помічник. Цінник такого девайсу може починатися від $50. Amazon спочатку зайняли преміальний сегмент, додавши камеру та якісні динаміки.

Окремо варто згадати новинку розумногодисплея від Google - Nest Home Hub 2. Завдяки вбудованому mmWave-радару, девайс може стежити за фазами і тривалістю сну власника, тому підійде для розміщення на тумбочці.

За допомогою масиву мікрофонів пристрій також здатний виміряти частоту дихання, тривалість хропіння та кількість покашливань за ніч.

Чи розпізнає пристрій власника по хропінню – поки що не зрозуміло, але ми обов'язково протестуємо цей момент.

Дисплеї для кухні

У 2018 році компанія General Electricанонсувала розумну витяжку з 27-дюймовим тачскрін-екраном, двома камерами і асистентом від Google на борту - Kitchen Hub. Витяжка вміє здійснювати відеодзвінки, дозволяє переглядати рецепти і програвати відео на дисплеї. Голосове управління пристроєм здійснюється через пульт.

Уже запустивши продажу Kitchen Hub, GE оголосили проKitchen Hub 2, мікрохвильової печі з екраном. Розробники помістили третю камеру зі штучним інтелектом всередину пристрою, що дозволяє розпізнавати інгредієнти і готовність страв. На жаль, інформації про старт продажів поки немає.

На CES 2019 представили ще один прототипсмарт-дисплея для кухні - 10-дюймовий KitchenAid Smart Display c Google Assistant від Whirlpool. Його основна відмінність - влагозащищенность і олеофобним покриття дисплея, завдяки якому на поверхні не залишаються відбитки пальців - звичайна справа на кухні. На жаль, пристрій в продаж так і не надійшло.

Дисплеї для інших кімнат

Компанія Kohler у 2018 році анонсувала розумнеДзеркало. На жаль, його функціональність обмежена лише голосовим помічником, і вона не здатна відображати інформацію. У 2019 році кілька китайських компаній розпочали розробку розумного дзеркала з інтегрованим дисплеєм. Незважаючи на велику кількість DIY-продуктів, масових та комерційно успішних розумних дзеркал для дому поки що не сталося.

Нам хотілося б зазирнути в майбутнє і показати, як нам бачиться концепт розумного дзеркала, який відмінно впишеться в будь-яку ванну кімнату.

Кілька можливих фич цього пристрою:

  • Фокус на приватності - без камер + кнопка фізичного включення мікрофона або жест для включення і виключення.
  • Електрохромне скло - змінна ступінь дзеркальності і прозорості в залежності від умов і контенту, який там відображається.
  • Вологозахист, в цьому допоможе використання MEMS-динаміків і пьезо-мікрофонів.
  • Вбудований mmWave-Радар для розпізнаваннякористувачів, управління жестами, розпізнавання параметрів життєдіяльності (температура, пульс, колір шкірних покривів, стан зіниці). Радар може без використання камер, зі збереженням приватності користувача, розпізнавати скелет та рух користувача, зчитувати частоту серцебиття та дихання.

Що ж може статися з ринком смарт-дисплеїв в найближчому майбутньому?

  • Згодом ринок дисплеїв стане ще більшим.сегментованою, посилиться спеціалізація та сценарії використання пристрою: від дисплеїв для кухні до вдосконалених дисплеїв у спальні. Наприклад, розумний будильник з м'яким підсвічуванням, яке дозволить м'яко розбудити користувача.
  • Поява нового сегмента:сьогодні на ринку спостерігається нестача преміальних пристроїв. Середня вартість девайсу для будинку становить близько $400. Можливо, є потреба з боку виробників люксової техніки, у тому числі преміальних аудіобрендів.
  • Можливе використання технологій-enabler'ов:дисплеї (microLED, AMOLED, 3D дисплеї, проектори), динаміки і мікрофони (масиви CMOS-динаміків, параметричні динаміки, подальше нарощування кількості мікрофонів в матрицях, використання пьезо-мікрофонів), радари і сенсори (mmWave-радари, датчики навколишнього середовища), connectivity (WiFi 6, 5G).
  • Подальше зростання сегмента при невеликій кількостінових гравців: бути партнером Google / Amazon з великим обсягом вкладень і низькою маржинальністю готове лише обмежена кількість компаній. Але все вершки сьогодні знімають ту невелику кількість гравців, що володіють повною інфраструктурою сервісів.

Дисплеї для B2B

Дисплеї в корпоративному сегменті

У багатьох компаніях, особливо з Fortune 500,використання пристроїв з мікрофонами та розумних колонок під забороною, оскільки існує величезна недовіра до приватності та захисту даних. Однією з небагатьох компаній, кому вдалося зайти до великого корпоративного сегменту, стала Cisco.

Cisco в 2020 році оновила лінійку розумних дисплеївдля конференц-зв'язку. Зараз представлені дві моделі. Молодша модель - 23 ", старша - 27". Камера - з фізичної шторкою в обох моделях. Старша модель - підтримує стилус, підключення ноутбука з паралельної його зарядкою, ІІ / динамічні фони, запатентовану систему шумозаглушення. Вартість молодшої починається від $ 1 490. Вартість старшої - від $ 5 990.

Окремо варто згадати кобрендинг-ініціативу від Zoom.Zoom for Home,лінійку професійних пристроїв для роботи звдома. Рекомендована роздрібна вартість першого пристрою лінійки – $599. При цьому пристрій володіє широким набором інтерфейсів, починаючи з 27″ тач-дисплея з підтримкою пера, закінчуючи трьома камерами, масивом із восьми мікрофонів та стереодинаміками. При цьому, це вузькоспеціалізований пристрій для відеоконференцій і презентацій, - інший функціонал урізаний на рівні ОС. Не маючи експертизи у сфері електроніки, Zoom Inc. залучили як партнера виробника конференц-рішень DTEN, що принесло свої плоди – пристрій удостоїли звання Best of The Best Red Dot design award у 2019 році.

Смарт-дисплеї в готельному бізнесі

Великий тренд – використання розумних колонок та дисплеїв у готелях.

Незважаючи на те, що Amazon запустив Alexa for Hospitality ще в червні 2018 року, підтримка цієї програми на Echo Show ще не доступна.

Nest for hospitality - програма і ініціатива відGoogle, спрямована на використання смарт-пристроїв в мережах готелів. Використовується кастомними версія Hub Max без камери (в призначеній для користувача версії камера присутня, в версії для готелю вона прибрана) і спеціальна версія прошивки / UI (обмежений функціонал, адмініструється віддалено; упор - на приватність, після того, як користувач виконав чекаут, вся інформація про ньому стирається). Основне призначення дисплея в цьому випадку - надання користувачеві інформації про послуги готелю і його околицях, отримання фінансової інформації (рахунок за проживання і доп. Послуги).

Ще один цікавий кейс для готелів бувпредставлений компанією CIRQ + в минулому році. Дана модульна система дозволяє контролювати системи кондиціонування, мультимедіа та освітлення. У пристрої є радар, призначений для управління системами. Наприклад, якщо радар знаходиться в іншій кімнаті, то він регулює інтенсивність кондиціонування таким чином, що заощадити витрати на електроенергію.

Але, як і в багатьох інших галузях, Китай випереджає західних конкурентів - китайський стартап Xiezhu представив аж п'ять розумних пристроїв, орієнтованих на готельний сегмент:

  • Дисплей для саморегистрации, покликаний замінити співробітників ресепшне.
  • Розумний дверний відеодзвінок для готелів з можливістю впускати відвідувачів не встаючи з ліжка.
  • Смарт-дисплей для номерів, інтегрований з системами освітлення, клімат-контролю і мультимедіа.
  • Розумний пульт для телевізора з голосовим керуванням.

Смарт-дисплеї в телемедицині

Пандемія призвела до підвищеного інтересу до телемедицини, причому, як до сервісів, так і до пристроїв для телемедичних обстежень.

Ряд гравців (Amwell, H4D, etc.)анонсували кіоски для телемедицини, центральним елементом яких є розумний дисплей. У частині пристроїв базові рекомендації / інструкції даються голосовим помічником, а сам процес відбувається під контролем лікаря.

Дозволимо собі трохи пофантазувати на темукіоску для телемедицини: портативна система, мозком якої є розумний дисплей. Потрібно найчастіше спрямовувати екран ближче до користувача, передбачається автоматичне підстроювання на сервоприводах. Масив із камер та сенсорів для відстеження основних життєвих параметрів/показників.

  • Портативна система для телемедицини, центром якої є розумний дисплей.
  • Автоматичне налаштування положення екрану на сервоприводах.
  • Масив з камер для аналізу vital signs, міміки.
  • Високочутливі far-field мікрофони (аналіз дихання, кашлю, хрипів).
  • Потужність платформи, достатня для процесингу завдань КЗ.

Розвиток та популярність технологій смарт-дисплеївобумовлена ​​безумовним попитом на їхній функціонал: від управління розумним будинком до моніторингу сну та демонстрації рецептів на кухні. Тотальна соціальна ізоляція ще більше підігріла інтерес до таких пристроїв, а розвиток інтернету речей та технологій бездротового зв'язку дозволить адаптувати використання смарт-дисплеїв для прикладніших кейсів, у тому числі і в непростих умовах застосування.

Читайте також:

Розумна одяг: що це таке і як вона працює

Вчені представили мікроскоп, який дозволяє бачити найдрібніші клітинні структури

Тварина ожило після 24 тис. Років сплячки в сибірській вічній мерзлоті