Yandex Scale 2020: fra datamarkedsplass til hybridskyer

Løsning for å lage hybrid dataskyer

Gazprom Neft-selskapet og Yandex.Cloud-plattformen presenterte

løsning for å lage hybride dataskyer.Med dens hjelp vil offentlige organisasjoner og private selskaper kunne implementere Yandex.Cloud-teknologier, selv om de er underlagt tekniske eller regulatoriske begrensninger for bruk av offentlige datalagrings- og behandlingstjenester.

  • Hvordan vil det fungere?

Brukeren av IT-løsningen får fullet klar-til-bruk maskinvare- og programvarekompleks laget på grunnlag av Yandex.Cloud-utstyr og teknologier. Komplekset installeres i kundens datasenter og blir en del av hans egen plattform for arbeid med data. Ytterligere tjenester - forebygging, konfigurering, oppdatering og annet rutinemessig vedlikehold - utføres i henhold til Yandex.Cloud-standarder.

  • Hvordan vil selskapets maskinvare fungere med det nye produktet?

Det nye IT-produktet integreres med lokaltbedriftens datalagrings- og prosesseringssystemer og offentlige skytjenester. Resultatet er en hybridsky som utvider funksjonene til selskapets digitale infrastruktur, lar deg sette høyere sikkerhetsstandarder og ta hensyn til andre spesifikasjoner for en bestemt bruker.

Under godkjenning, spesialister fra GazpromOil ”deltok i utviklingen av krav til hybridløsningen og ble faktisk en partner i utformingen av arkitekturen. Derfor vil klientene våre ikke bare motta et komplett klar-til-bruk maskinvare- og programvarekompleks basert på Yandex.Cloud-teknologier, men også en tjeneste for å støtte og regelmessig oppdatere produktet, med tanke på utviklingen av vår offentlige plattform.

Oleg Koverznev, Chief Operating Officer, Yandex.Cloud

  • Hva er neste planlagt?

Videreutvikling av teknologipartnerskapmellom Gazprom Neft og Yandex.Cloud-plattformen vil tillate testing av en ny digital løsning i ulike scenarier for industriell drift. Gazprom Neft vurderer muligheten for å bruke en hybrid sky til å utvikle databehandlingsklyngen og utviklingen innen kunstig intelligens, som brukes til å søke etter nye oljereserver og eksternt kontrollere teknologiske operasjoner for produksjonen. Ytterligere kapasitet kan også brukes til å forbedre effektiviteten til å balansere arbeidsmengder på produksjons-IT-infrastrukturen.

Hvert år lager våre fabrikker og oljefeltomtrent 5 PB nye data. Vi lagrer ikke bare denne informasjonen, men tar avgjørelser daglig basert på analysen, bruker den til modellering av teknologiske prosesser og opplæring av nevrale nettverk. Det spesielle ved arbeid i avsidesliggende regioner i Sibir og Arktis krever stor distribuert datakraft, som vil bli regulert fra ett sted. Opprettelsen av en hybridsky løser dette problemet og gir informasjonssikkerhet. Produktet vil bli en praktisk tjeneste for industribedrifter og andre representanter for markedet.

Andrey Belevtsev, direktør for digital transformasjon ved Gazprom Neft

Fire nye tjenester for lagring og administrering av data

Tjenestekategori for lagring og forvaltningdata ble et av de raskest voksende områdene på Yandex.Cloud-plattformen i 2020, og overgikk vekstdynamikken til tjenestene til den tradisjonelle lederen - utleie av virtuelle maskiner. Ved hjelp av skydatahåndteringstjenester løser bedrifter, uavhengig av størrelse og aktivitetsfelt, problemer som datalagring og -behandling, analyser og visualisering.

Tjenestene til administrertedatabaser (Managed Databases) - siden begynnelsen av 2020 har forbruket av disse tjenestene på Yandex.Cloud-plattformen tredoblet seg, og antall databaser opprettet av brukere har oversteget 10.000.

  • Hva skjedde før?

I vår plattform Yandex.Cloud var allerede tilgjengelig ved å klikke på nesten alle de mest populære lagrings- og databehandlingsløsningene på markedet. Vi har gjort betydelige forbedringer i scenariene for datamigrering i år. For dette formål har vi lagt til to nye tjenester som forenkler dataoverføring mellom alle kilder - Managed Service for Kafka, og en spesialisert løsning for overføring av data mellom databaser - Dataoverføring. I segmentet av generelle databaser har skyen blitt enda mer tilgjengelig for Enterprise-brukere - en ny Managed Service for SQL Server har dukket opp. Managed Service for Elastic Search, en populær løsning som støtter fulltekstsøk og ad hoc-analysescenarier, har dukket opp i familien av analytiske løsninger.

Alexey Bashkeev, leder av Yandex.Cloud-plattformen

  • Hva kommer nå?

Fra 23. september til Yandex-brukere.Cloud har nå tilgang til den nye Data Transfer-tjenesten, som lar deg overføre data mellom DBMS-er uten å stoppe applikasjoner, uavhengig av hvor de er distribuert. Dataoverføring hjelper deg raskt og trygt å migrere databaser fra andre skyplattformer eller lokale databaser til Yandex.Cloud-administrerte databasetjenester. Du kan også bruke Dataoverføring til å flytte data mellom ulike databaser på plattformen og sette opp sikkerhetskopier.

Managed-tjenesten ble også utgitt.Kafka er et system for streaming av data til analytiske systemer. Tjenesten for søk og dataanalyse ElasticSearch og et av de mest populære kommersielle databasestyringssystemene i verden for å jobbe i økosystemet til Microsoft SQL Server-produkter er lagt til. Totalt er det nå 9 administrerte databasetjenester tilgjengelig på Yandex.Cloud-plattformen, som dekker de fleste scenarier for lagring og behandling av data.

Ny markedsplassseksjon med data for forretningsanalyse

I Yandex.Cloud har nå en seksjon kalt "Geolayers", som inneholder anonymiserte geoinformasjonsdata fra servicepartnere. De kan legge ut innholdet gratis eller mot et gebyr. Yandex.Cloud-klienter vil få tilgang til nødvendige data i tjenestegrensesnittet, analysere dem ved hjelp av Yandex DataLens og bruke dem til forretningsformål. For eksempel kan brukere vurdere den potensielle etterspørselen etter produkter eller utsiktene til å åpne utsalgssteder, planlegge utvidelse av tilbudsområder eller markedsføringskampanjer.

Innhold fra to partnere er allerede tilgjengelig i seksjonen -"Center for Spatial Research" på kommersiell basis og Rosstat på fri basis, samt to eksempler på geoanalytics fra Yandex - "Publikum: interesser og sosial demografi" og "Organisasjoner: tilbud og etterspørsel". Med DataLens kan brukere kombinere og analysere alle dataforhåndsinnstillinger for å ta forretningsbeslutninger.

Vi streber etter å gi partnere ikke bare teknologi,og verktøy for å tjene penger på ethvert intellektuelt produkt som kan lages eller forbedres ved hjelp av skyen. Separat vil jeg bemerke at alt innholdet i delen "Geolayers" utelukkende er aggregerte og anonymiserte data, som det er umulig å få tak i detaljer for en bestemt enhet eller bruker.

Oleg Koverznev, administrerende direktør Yandex.Cloud

Hvem fungerte som partner for Yandex.Cloud?

Analytics lages i samarbeid medRossstat. Samarbeidsavtalen innebærer å samarbeide om å utarbeide pakker med ulike åpne data. Vital statistikk og annen demografisk informasjon er allerede tilgjengelig.

Rosstat utgir storematriser med data tilgjengelig for alle brukere. Takket være samarbeid med Yandex.Cloud vil de få merverdi for forskere, analytikere og bedrifter. Plattformens verktøy lar deg kombinere kilder, gjøre rask analyse, bygge visuelle visualiseringer og som et resultat ta raske strategiske beslutninger.

Pavel Smelov, nestleder i Rosstat

Senter for romlig forskning levertgeografiske informasjonsdata om folketallet, husholdninger i nybygg, samt næringspotensialindekser for ulike områder. I tillegg er et dashbord for overvåking av nettverkshandel i den russiske føderasjonen tilgjengelig gratis, som har vært i drift siden 2015 og inneholder en indeks over regionens utvikling fra synspunktet til føderale detaljistaktører.

Ifølge generaldirektør for Center for SpatialDenis Strukovs forskning, analytiske verktøy, indekser og ekspertise, kombinert med kapasiteten til DataLens, er et raskt svar på forespørselen fra B2B- og B2C-markedene. Dette, sa han, er en skyversjon av location intelligence, som nylig har utviklet seg i utlandet, og nå i Russland.

Generell tilgang til Yandex-markedsplassen.Cloud åpnet i 2019. Dette er en plattform der skyklienter kan få direkte tilgang til forretningsapplikasjoner fra utviklere og utgivere. I dag er 47 applikasjoner og tjenester tilgjengelige: fra operativsystemer til informasjonssikkerhetsverktøy for genetisk analyse.

Yandex.Cloud åpner offentlig tilgang til en ny tjeneste for utvikling basert på maskinlæring DataSphere

Yandex.Cloud gir generell tilgang til tjenesten for maskinlæringsutviklere Yandex DataSphere. Tjenesten hjelper bedrifter og individuelle utviklere med å redusere kostnadene ved å lage og bruke maskinlæringsmodeller, automatisk administrere mengden og typen databehandlingsressurser, og redusere bortkastet tid på å lage og organisere et utviklingsmiljø. Yandex DataSphere vil være åpent tilgjengelig fra 1. oktober.

Hvorfor er dette relevant?

Bedriftenes globale utgifter på kunstigetterretning antas å fordobles i løpet av de neste fire årene fra 50 milliarder dollar i 2020 til 110 milliarder dollar i 2024. Ved utgangen av 2019 beløp russiske selskaper seg på AI til $ 172 millioner med en prognose på 30% vekst årlig. Maskinlæringsbasert utvikling brukes allerede aktivt av mange russiske selskaper. For eksempel i medisin for å lage løsninger for bildeanalyse, i detaljhandel for utvikling av anbefalingssystemer.

Maskinlæringsteknikker blir mer og merpopulært forretningsverktøy over hele verden. Men for mange selskaper er det fortsatt ikke tilgjengelig på grunn av den høye inngangsgrensen og kostnaden for de nødvendige databehandlingsressursene. For å løse disse problemene opprettet vi DataSphere, hvor du kan få et ferdig ML-miljø ved å klikke på en knapp. Ulike typer databehandlingsressurser er tilgjengelige i den - fra klassisk kapasitet til GPUer og distribuert databehandling, og fakturering skjer bare for serverkraften som faktisk forbrukes mens du utfører oppgavene dine.

Alexey Bashkeev, leder Yandex.Cloud-plattformer

Hva er nytt med Yandex.Cloud?

  • Serverløs datateknologi for utvikling av maskinlæringsmodeller.

Teknologien automatiserer ressursstyring ogåpner for betydelige besparelser. I DataSphere, når du redigerer og ser på kode, brukes ikke dataressursene til CPU eller GPU en virtuell maskin av den nødvendige typen bare for varigheten av direkte beregninger (treningsmodeller, lansering, andre beregninger).

Som et resultat betaler brukeren kun forfaktisk forbrukt dataressurs. Tid for redigering og gjennomgang av kode, arbeid på en virtuell maskin som ikke er slått av ved et uhell, belastes ikke. I følge DataSphere-testing, som involverte 200 brukere fra ulike felt, er nedetiden for datakraft ved utvikling av maskinlæring 50–70 %. Ved bruk av produktet belastes ikke denne tiden.

  • Implementert sømløs veksling mellom ulike typer dataressurser.

Dette betyr at innenfor ett treningsscenariomodell, kan brukeren bruke forskjellige typer virtuelle maskiner - økonomisk med konvensjonelle prosessorer (CPU) og raskere med GPU (grafikkakseleratorer). Modellens treningsfremgang vil forbli den samme. I de fleste skybaserte utviklingsmiljøer for maskinlæring kan treningsmodellen bare beregnes på én type maskin.

  • Lagre versjoner av modellberegninger, inkludert data, kode og tilstander.

Denne funksjonen gjør prosessen med å utvikle maskinlæring mer lønnsom for virksomheten: fremgangen som oppnås i trening går ikke tapt, den kan reproduseres om nødvendig.

Yandex SpeechKit Pro vil bidra til å gjøre taleroboter smartere og mer menneskelige

Yandex plattform.Cloud introduserte en spesialisering av SpeechKit-tjenesten - Yandex SpeechKit Pro. Dette er et program for utviklingsbedrifter, hvis deltakere vil få tilgang til nye verktøy for å lage roboter og stemmeassistenter med fokus på å jobbe i en spesifikk bransje eller bedrift.

Slike roboter vil kunne gjenkjenne ord og kommandoerom et bestemt emne med høyest nøyaktighet. De nye verktøyene vil bidra til å forbedre tjenestescenariene dramatisk i bank-, helse- og leveransesektoren. SpeechKit Pro lar deg også lage individuelle funksjoner i en talerobot: intonasjon og kommunikasjonsmåte.

Hvorfor er dette relevant?

Innen 2020 har talesyntese og gjenkjenning blittden mest populære ML-tjenesten på Yandex.Cloud-plattformen. Siden begynnelsen av året har SpeechKit-forbruket vokst med 120 %. Antall aktive prosjekter har oversteget 500. I Russland har det allerede dannet seg et økosystem av utviklere og integratorer av løsninger, som på forespørsel fra selskaper fra ulike felt lager og implementerer stemmeroboter for å hjelpe til med å behandle innkommende og utgående samtaler, stemmekontroll systemer i applikasjoner og kundeserviceterminaler, og analyseløsninger effektivitet av forretningskommunikasjon.

I dag er det mer enn 20 selskaper, de flestehvorav er faste partnere til Yandex.Cloud-plattformen. Ifølge partnere har hovedmotivene for å introdusere stemmeroboter i russiske selskaper de siste to årene vært kostnadsreduksjon og rask skalering av løsninger.

Sammen med partnerne våre gikk vi gjennom en flottmåte, etter å ha gjort taleteknologi fra en eksotisk tjeneste til et anvendt forretningsverktøy på to år. Nå tar vi neste skritt og åpner et nytt nivå av Yandex taleteknologi for partnere. Utviklingsselskaper vil ha tilgang til de avanserte funksjonene i SpeechKit, og løsningskunder vil kunne velge leverandøren med den mest passende kompetansen.

Alexey Bashkeev, leder av Yandex.Cloud-plattformen

Hvordan vil løsningen tilpasse seg forskjellige forretningsoppgaver?

Sammen med forretningsinteressen for talemuligheteneteknologier, krav til gjenkjennelsesnøyaktighet i spesifikke scenarier for interaksjon mellom taleroboter og mennesker har også vokst, evnen til raskt å tilpasse utviklingen til nye oppgaver.

For eksempel for et rederiDet er grunnleggende viktig at roboten ikke blir forvirret i å evaluere betydningen av setningene "Overfør ordren" eller "Angi bestillingen", og for teleselskaper - at den skiller mellom setningene "Aktiver tjeneste" og "Deaktiver tjeneste" uten feil. Prioriteten til en bedrift er nøyaktighet i sitt område, evnen til å utvikle applikasjonserfaring i et bestemt forretningsscenario basert på objektive indikatorer.

Для решения этих задач Yandex.Cloud предоставляет партнерам дополнительные инструменты разработки в рамках специализации SpeechKit Pro. Теперь компании-партнеры смогут пользоваться разметкой аудиоданных, обучать индивидуальные модели распознавания речи на данных заказчиков, контролировать метрики качества распознавания речи и адаптировать модели распознавания к конкретному потоку данных.

Spesialisering SpeechKit Pro har allerede blitt mottatt av Neuro.net, Just.ai, Aviation Communication Technologies, Naumen, Robovoice og Voximplant.

Yandex.Cloud-plattformen utvidet tjenesteøkosystemet med serverløs databehandlingsteknologi

Yandex.Cloud har utvidet sitt tjenesteøkosystem med proprietære serverløse databehandlingsteknologier. Til de fire tjenestene som ble kunngjort i 2019, ble to til - Yandex API Gateway og Yandex Database i serverløs modus.

Hva betyr dette?

Бессерверные вычисления избавляют компании от затрат на решение задач по выделению и настройке облачной инфраструктуры: виртуальных машин, серверов облачных баз данных и приложений. Эти задачи теперь выполняются на стороне платформы Yandex.Cloud автоматически.

При использовании технологий бессерверных вычислений платформа автоматически определяет, например, увеличение числа обращений пользователей к приложению компании и выделяет необходимые для стабильной работы ресурсы. Как только нагрузка на приложение снижается, уменьшается и количество задействованных для его работы мощностей. Это позволяет пользователям перейти на новый для российских облаков принцип оплаты — только по фактическому потреблению сервисов — и добиться значительной экономии.

Yandex.Cloud er den første skyplattformen i Russland som tilbyr et komplett serverløst databehandlingsøkosystem. Vi har samlet de mest nødvendige datalagrings- og behandlingsteknologiene for å løse presserende forretningsproblemer og gjort dem tilgjengelige i en serverløs modus. Serverløs databehandling er neste trinn i databehandling over hele verden. Dette er en mulighet til å redusere kostnadene med opptil 90%, øke tiden for å lage og implementere nye løsninger, øke applikasjonens motstandskraft i perioder med toppbelastning, frigjøre selskaper fra oppgavene for å skalere tjenesten.

Alexey Bashkeev, leder av Yandex.Cloud-plattformen

Hvordan vil det fungere?

Yandex.Cloud serverløs teknologi økosystem inkluderer nå seks tjenester: Yandex Object Storage— универсальное масштабируемое решение для хранения данных; API Gateway — сервис для создания и управления API; запуск кода в виде функций — Yandex Cloud Functions; отказоустойчивую систему управления базами данных — Yandex Database; универсальное масштабируемое решение для обмена сообщениями между приложениями — Yandex Message Queue и сервис интернета вещей Yandex IoT Core.

На все сервисы экосистемы бессерверных вычислений Yandex.Cloud в течение первого года (до октября 2021-го) действуют специальные тарифы, которые позволяют пользователям бесплатно создавать и размещать свои сервисы, не превышающие определенный уровень нагрузки.

Les også

I økosystemenes tid: hvordan IT-giganter blir til grensesnitt for hverdagen vår

Dommedagsbreen viste seg å være farligere enn forskere trodde. Vi forteller det viktigste

GitHub har erstattet begrepet "master" med en nøytral ekvivalent