Hvordan smarte skjermer overvåker verten og kontrollerer det smarte hjemmet

En smart skjerm er en smart enhet som består av en høyttaler og en skjerm.Den har innebygde fjernfeltmikrofoner

handlinger, høyttalere og stemmeassistenten er ansvarlig for kommunikasjon med brukeren.Disse enhetene støtter også stemmestyringsalgoritmer: wake word engine, VAD (stemmeaktivitetsdeteksjon) og andre stemmebehandlingsalgoritmer.

Skjermen viser video, tekst og grafikkinformasjon, kan du bruke den til å ringe videosamtaler. Noen mennesker tenker på en smart skjerm som et elektronisk nettbrett, men de er konseptuelt forskjellige enheter. Grensesnittet til den smarte skjermen er bevisst forenklet, siden hovedformålet er å løse hverdagens oppgaver ved hjelp av en stemmeassistent: smart hjemmekontroll, planlegging og administrering av en kalender, søk etter informasjon, innstilling av en tidtaker eller en vekkerklokke.

Smarte skjermer gjør det samme som smarte høyttalere, men de gir ekstra funksjonalitet til det. Her er for eksempel hva Google Nest Hub Max kan:

  • Vis videoer og filmer, men på grunn av DRM-karakteren dukket Netflix opp på Hub og Hub Max relativt nylig, bare i juli 2020.
  • Vis bilder.
  • Søk etter informasjon og vis søkeresultaterpå skjermen. Interessant, oppskrifter opptar en stor andel i statistikken over søk fra smarte skjermer - dette gir en av de mest populære stedene for enheten i huset.
  • Foreta videosamtaler med Duo og Meet, og siden august 2020, også Zoom.
  • Oversett talekommandoer til fremmedspråk i sanntid - mens du leser fra skjermen, er oversettelsen lettere å forstå.

Hvis vi snakker om å kontrollere et smart hjem, kan du for eksempel justere lysstyrken på lampen med ett trykk ved å velge ønsket enhet fra listen. Veldig behagelig.

Et interessant alternativ er også tilgjengelig i implementeringenvideosamtaler, - automatisk innramming (også kjent som automatisk zoom eller automatisk panorering). Med autoframing fokuserer kameraet på en person og "følger" ham mens han beveger seg (innenfor kameraets synsfelt, selvfølgelig). Dette oppnås ved hjelp av datasyn og beskjæring av bilder. For første gang på smarte skjermer ble autoframing implementert på Facebook Portal, og deretter på Nest Hub Max. Denne funksjonen brukes aktivt av Google og Facebook, og brukere reagerer positivt på den - dette kan sees fra Net Promoter Score.

Hvordan det hele begynte

Smarte skjermer uten stemmeassistenterdukket opp i 2000. Digital elektronikkprodusent 3Com (medstifter Robert Metcalfe oppfant Ethernet) var banebrytende for utviklingen av skjerm-IoT-enheter. 3Com Audrey ble oppfattet som et kjøkkenapparat og hadde Internett-tilgang, skrev og sendte e-post og spilte lyd og video.

I 2006 ble den første berøringsskjermen fraChumby for forbruk av medieinnhold, som markerte begynnelsen på linjen med enheter med samme navn. Sony Dash, utgitt i 2010, brukte en plattform fra Chumby med alarm, radio, Internett-tilgang, lyd- og videoavspilling og et bredt utvalg av applikasjoner. Til tross for den stabile driften av enheten, suspenderte Sony i 2017 arbeidet til serverne som betjener Sony Dash uten å gi ut en annen analog.

Det viktigste som skilte disse enhetene fra nåværende smarte skjermer er mangelen på en virtuell assistent, gestkontroll og stemmekontroll.

Sony Dash, 2010

Fra tidlig adoptere til forbrukerens display boom

I løpet av de siste tre årene har mer enn 30 modeller av smarte skjermer fra USA og Europa alene blitt utgittI juni 2017 lanserte Amazon salget av sin første smarte skjerm, Amazon Echo Show, og i september samme år, salg av Echo Spot, en smart vekkerklokke med skjerm og stemmeassistent.

Frem til sommeren 2018 hadde nettgiganten monopol på smartskjermmarkedet, inntil Lenovo og JBL ga ut enhetene sine med Google Assistant.Google annonserte selv Google Home Hub (senere omdøpt til Nest Hub) i oktober 2018, og posisjonerte enheten som et knutepunkt for å kontrollere et smart hjem, mens partnerne, som brukte Google-assistenten, stolte på lydkvalitet.

En måned senere kom Facebook Portal på markedet medstemmeassistent Alexa fra Amazon, og dets viktigste brukerscenario ble kalt videosamtaler. Russland lå heller ikke bak trenden - på slutten av 2020 annonserte SberDevices SberPortal - den første russiske smartskjermen med et system med virtuelle assistenter om bord. Forresten, utformingen av den russiske portalen ble utført av notAnotherOne-teamet, og allerede i april 2021 vant enheten de mest prestisjefylte designprisene - Red Dot Design og iF designpriser - og med dem anerkjennelse fra det globale designmiljøet. Til slutt, den nylig annonserte oppdateringen til iMac-linjen, selv om den ikke kan kalles en smartskjerm, er en rekke funksjoner avledet fra smartskjermer - en mikrofonmatrise med tre mikrofoner og seks innebygde høyttalere. Disse innovasjonene lar deg både bruke enheten til konferanser og kontrollere funksjoner ved hjelp av en stemmeassistent/taleinngang (fra og med macOS Catalina-revisjonen har brukere tilgang til avanserte stemmekontrollfunksjoner, i tillegg til Siri-funksjonalitet).

I dag kan vi se den eksplosive veksten av det smarte skjermsegmentet over hele verden.

Litt analyse

Smart display-marked

Første plass er okkupert av Amazon med 55% markedsandel,etterfulgt av Google - 33% og Facebook - bare 2% med sine tre generasjoner av enheter: Facebook Portal, Facebook Portal Plus og Facebook Portal Mini. Smarte skjermer fra Lenovo, JBL og LG med innebygd Google Assistant står for 6% av markedet (ingen merkefordeling).

Veksten i popularitet til skjermer er tydelig illustrert av tallene: i første kvartal 2018 var andelen smarte skjermer mindre enn 2% av markedet, i første kvartal 2019 - 10%, og innen utgangen av 2020 - allerede 26%.

* Global Smart Speaker Market Report Q3 2020

Fra og med 4. kvartal 2020 utgjorde salget av smartskjermer litt over 25 % av det totale salget av smarthøyttalere. I 1. kvartal 2018 var andelen av salget av smartskjermer mindre enn 2 %, i 1. kvartal 2019 - omtrent 10 %

Smarte visningssteder

Stedene der det er vanlig å plassere smarte skjermer og høyttalere er svært forutsigbar: 44% av enhetene er i stuer, 37% av enhetene er på soverommet, 32% er på kjøkkenet.

Hvis det i stuene ofte er høyttalere, siden TV-en overtar displayfunksjonen, på kjøkkenet er det smartskjermer, så dominerer smarte vekkerklokker og smartklokker på soverommet.

På bildet over er flere representanter for disseenheter. De er forent av en liten grunnleggende skjerm, hvis oppløsning er nok til å vise grunnleggende informasjon, samt en mikrofonmatrise, høyttaler og stemmeassistent. Prislappen for en slik enhet kan starte fra $50. Amazon okkuperte først premiumsegmentet ved å legge til et kamera og høykvalitetshøyttalere.

Vi bør også nevne den ferske utgivelsen av smartskjerm fra Google - Nest Home Hub 2. Takket være den innebygde mmWave-radaren kan enheten spore fasene og varigheten av eierens søvn, så den er egnet for plassering på nattbordet.

Ved hjelp av en rekke mikrofoner kan enheten også måle pustefrekvens, snorkevarighet og antall hoste per natt.

Det er ennå ikke klart om enheten gjenkjenner eieren ved å snorke, men vi vil definitivt teste dette punktet.

Skjermer for kjøkkenet

I 2018 General Electrickunngjorde en smart kjøkkenhette med en 27-tommers berøringsskjerm, to kameraer og en innebygd Google-assistent, Kitchen Hub. Panseret kan ringe videosamtaler, se oppskrifter og spille av videoer på skjermen. Stemmekontroll av enheten utføres via fjernkontrollen.

Etter å ha allerede lansert Kitchen Hub-salg, kunngjorde GEKjøkkennav 2, mikrobølgeovn med skjerm. Utviklerne har plassert et tredje AI-kamera inne i enheten, som gjør det mulig å gjenkjenne ingrediensene og beredskapen til oppvasken. Dessverre er det ingen informasjon om salgsstart ennå.

En annen prototype presentert på CES 2019KitchenAid Smart Display - 10-tommers KitchenAid Smart Display med Google Assistant fra Whirlpool. Hovedforskjellen er fuktbestandighet og et oleofobt belegg på skjermen, takket være at det ikke er fingeravtrykk på overflaten - en vanlig ting på kjøkkenet. Akk, enheten ble aldri solgt.

Skjermer for andre rom

I 2018 annonserte Kohler en smartspeil. Dessverre er funksjonaliteten begrenset til kun stemmeassistent, og den er ikke i stand til å vise informasjon. I 2019 begynte flere kinesiske selskaper å utvikle et smart speil med integrert skjerm. Til tross for det store antallet DIY-produkter, har masse- og kommersielt vellykkede smartspeil for hjemmet ennå ikke skjedd.

Vi vil gjerne se inn i fremtiden og vise hvordan vi ser konseptet med et smart speil som passer perfekt inn i ethvert bad.

Flere mulige funksjoner på denne enheten:

  • Fokus på personvern - ingen kameraer + fysisk knapp for å slå på mikrofonen eller gest for å slå den av og på.
  • Elektrokromisk glass - en variabel grad av spekularitet og gjennomsiktighet avhengig av forholdene og innholdet som vises der.
  • Vanntett, dette vil hjelpe bruken av MEMS-høyttalere og piezo-mikrofoner.
  • Innebygd mmWave-radar for gjenkjenningbrukere, gestkontroll, gjenkjenning av vitale parametere (temperatur, puls, hudfarge, pupilltilstand). Radaren kan, uten bruk av kamera, samtidig som brukerens privatliv opprettholdes, gjenkjenne brukerens skjelett og bevegelser, og lese av hjertefrekvens og pustefrekvens.

Hva kan skje med smartskjermmarkedet i nær fremtid?

  • Over tid vil displaymarkedet bli enda mersegmentert, vil spesialiseringen og bruksscenarioene til enheten øke: fra kjøkkenskjermer til avanserte soveromsskjermer. For eksempel en smart vekkerklokke med dempet belysning som skånsomt vil vekke brukeren.
  • Fremveksten av et nytt segment:Det er mangel på premium-enheter på markedet i dag. Den gjennomsnittlige kostnaden for en enhet for et hjem er rundt $400. Kanskje det er behov hos produsenter av luksusutstyr, inkludert premium lydmerker.
  • Det er mulig å bruke enabler-teknologier:skjermer (microLED, AMOLED, 3D-skjermer, projektorer), høyttalere og mikrofoner (arrays av CMOS-høyttalere, parametriske høyttalere, ytterligere økning i antall mikrofoner i matriser, bruk av piezo-mikrofoner), radarer og sensorer (mmWave-radarer, miljøsensorer) , tilkobling (WiFi 6, 5G).
  • Videre vekst av segmentet med en liten mengdenye spillere: bare et begrenset antall selskaper er klare til å samarbeide med Google / Amazon med stort investeringsvolum og lave marginer. Men all kremen i dag er skummet av et lite antall spillere med en komplett infrastruktur for tjenester.

Skjermer for B2B

Viser i bedriftssegmentet

I mange selskaper, spesielt Fortune 500,bruk av enheter med mikrofoner og smarthøyttalere er forbudt, da det er stor mistillit til personvern og databeskyttelse. En av få selskaper som klarte å gå inn i det store bedriftssegmentet var Cisco.

Cisco oppdaterer sin serie med smarte skjermer i 2020for konferansesamtaler. Det er nå to modeller. Den yngste modellen er 23 ″, den eldre er 27 ″. Kameraet er utstyrt med en fysisk lukker i begge modeller. Eldre modell - støtter pekepenn, bærbar PC-tilkobling med parallell lading, AI / dynamisk bakgrunn, patentert støyreduksjonssystem. Kostnaden for den yngre starter fra $ 1 490. Kostnaden for den eldre starter fra $ 5 990.

Separat er det verdt å nevne co-branding-initiativet fra Zoom -Zoom for hjem.en serie profesjonelle enheter for å jobbe fraHus. Den anbefalte utsalgsprisen for den første enheten i rekken er $599. Samtidig har enheten et bredt spekter av grensesnitt, som starter med en 27-tommers berøringsskjerm med pennstøtte, og slutter med tre kameraer, en rekke med åtte mikrofoner og stereohøyttalere. Med alt dette er dette en svært spesialisert enhet for videokonferanser og presentasjoner; annen funksjonalitet er begrenset på OS-nivå. Mangler elektronikkekspertise, Zoom Inc. tiltrukket konferanseløsningsprodusenten DTEN som partner, noe som bar frukter - enheten ble tildelt tittelen Best of The Best Red Dot-designprisen i 2019.

Gjestfrihetssmarte skjermer

En stor trend er bruken av smarthøyttalere og skjermer på hoteller.

Selv om Amazon lanserte Alexa for Hospitality tilbake i juni 2018, er ikke støtte for dette programmet på Echo Show ennå tilgjengelig.

Nest for hospitality - program og initiativ fraGoogle siktet seg mot å bruke smarte enheter i hotellkjeder. Det brukes en tilpasset versjon av Hub Max uten kamera (i den tilpassede versjonen er kameraet til stede, i versjonen for hotellet fjernes det) og en spesialversjon av firmware / brukergrensesnittet (funksjonaliteten er begrenset, administreres eksternt; det legges vekt på personvern, etter at brukeren har sjekket ut, blir all informasjon om det slettet). Hovedformålet med skjermen i dette tilfellet er å gi brukeren informasjon om tjenestene til hotellet og dets omgivelser, for å motta økonomisk informasjon (faktura for overnatting og tilleggstjenester).

Et annet interessant tilfelle for hotell varintrodusert av CIRQ + i fjor. Dette modulsystemet lar deg kontrollere klimaanlegg, multimedia og belysningssystemer. Enheten har en radar for å kontrollere systemer. For eksempel, hvis radaren er i et annet rom, justerer den intensiteten på klimaanlegget på en slik måte at det sparer energikostnader.

Men som i mange andre bransjer ligger Kina foran vestlige konkurrenter - Kinesisk oppstart Xiezhu har introdusert fem smarte enheter rettet mot hotellsegmentet:

  • Selvinnsjekkingsskjerm designet for å erstatte resepsjonspersonalet.
  • Smart videodørklokke for hoteller med muligheten til å slippe besøkende inn uten å gå ut av sengen.
  • Smart display for rom, integrert med belysning, klimaanlegg og multimediasystemer.
  • Smart TV-fjernkontroll med stemmestyring.

Smarte skjermer innen telemedisin

Pandemien har ført til økt interesse for telemedisin, både innen tjenester og apparater for telemedisinske undersøkelser.

En rekke spillere (Amwell, H4D, etc.) annonserte telemedisinske kiosker, hvor det sentrale elementet er en smart skjerm. Angående enheter gis grunnleggende anbefalinger/instruksjoner av en stemmeassistent, og selve prosessen skjer under tilsyn av lege.

La oss fantasere litt om temaettelemedisinskiosk: et bærbart system hvis hjerne er en smart skjerm. Oftest er det nødvendig å rette skjermen nærmere brukeren; automatisk justering forutsettes ved bruk av servoer. En rekke kameraer og sensorer for å spore vitale parametere/indikatorer.

  • Et bærbart telemedisinsk system sentrert på en smart skjerm.
  • Automatisk justering av posisjonen til skjermen på servoene.
  • En rekke kameraer for å analysere vitale tegn, ansiktsuttrykk.
  • Svært følsomme fjernfeltmikrofoner (analyse av pust, hoste, tungpustethet).
  • Plattformkraft tilstrekkelig til å behandle kortslutningsoppgaver.

Utvikling og popularitet av smartskjermteknologierdrevet av den ubetingede etterspørselen etter funksjonaliteten deres: fra smarthjemkontroll til søvnovervåking og demonstrasjon av oppskrifter på kjøkkenet. Total sosial isolasjon har ytterligere drevet interessen for slike enheter, og utviklingen av tingenes internett og trådløs kommunikasjonsteknologi vil gjøre det mulig å tilpasse bruken av smarte skjermer for mer anvendte tilfeller, inkludert under vanskelige bruksforhold.

Se også:

Smarte klær: hva det er og hvordan det fungerer

Forskere har presentert et mikroskop som lar deg se de minste mobilstrukturene

Dyret fikk liv etter 24 tusen år i dvale i den sibiriske permafrosten