Yandex Scale 2020: van datamarktplaats tot hybride clouds

Oplossing voor het creëren van hybride datawolken

Gazprom Neft en het Yandex.Cloud platform gepresenteerd

Hybride Data Cloud-oplossing: Hiermee kunnen overheidsorganisaties en particuliere bedrijvenYandex.Cloud technologieën toe te passen, zelfs als deze onderworpen zijn aan technische of reglementaire beperkingen op het gebruik van openbare diensten voor gegevensopslag en -verwerking.

  • Hoe werkt het?

De gebruiker van de IT-oplossing ontvangt een kant-en-klaar hardware- en softwarecomplex dat is gemaakt op basis van Yandex.Cloud apparatuur en technologieën.Het complex wordt geïnstalleerd in het datacenter van de klant en wordt onderdeel van zijn eigen platform voor het werken met data.Verder onderhoud - onderhoud, afstelling, update en ander routineonderhoud -  wordt uitgevoerd volgens Yandex.Cloud normen.

  • Hoe werkt de hardware van het bedrijf met het nieuwe product?

Het nieuwe IT-product integreert met lokaalopslag- en verwerkingssystemen voor bedrijfsgegevens en openbare clouddiensten. Het resultaat is een hybride cloud die de mogelijkheden van de digitale infrastructuur van het bedrijf uitbreidt, waardoor u hogere beveiligingsnormen kunt stellen en rekening kunt houden met andere specifieke kenmerken van een specifieke gebruiker.

Tijdens de goedkeuring, specialisten van GazpromNeft ”nam deel aan de ontwikkeling van eisen voor de hybride oplossing en werd feitelijk partner bij het ontwerp van de architectuur. Daarom ontvangen onze klanten niet alleen een volledig gebruiksklaar hardware- en softwarecomplex op basis van Yandex.Cloud-technologieën, maar ook een service om het product te ondersteunen en regelmatig bij te werken, rekening houdend met de ontwikkeling van ons openbare platform.

Oleg Koverznev, Chief Operating Officer, Yandex.Cloud

  • Wat is het volgende?

Verdere ontwikkeling van technologisch partnerschaptussen Gazprom Neft en het Yandex.Cloud-platform zal het testen van een nieuwe digitale oplossing in verschillende industriële bedrijfsscenario's mogelijk maken. Gazprom Neft overweegt de mogelijkheid om een ​​hybride cloud te gebruiken om zijn computercluster te ontwikkelen en ontwikkelingen op het gebied van kunstmatige intelligentie, die worden gebruikt om te zoeken naar nieuwe oliereserves en om technologische operaties op afstand te besturen voor de productie ervan. Ook kan extra capaciteit worden gebruikt om de efficiëntie van het balanceren van werklasten op de productie-IT-infrastructuur te verbeteren.

Elk jaar creëren onze fabrieken en olieveldenongeveer 5 PB aan nieuwe gegevens. We slaan deze informatie niet alleen op, maar nemen dagelijks beslissingen op basis van de analyse, gebruiken het bij het modelleren van technologische processen en het trainen van neurale netwerken. De eigenaardigheid van het werk in afgelegen gebieden van Siberië en het Noordpoolgebied vereist een grote gedistribueerde rekenkracht, die vanuit één plaats zou worden geregeld. Het creëren van een hybride cloud lost dit probleem op en zorgt voor informatiebeveiliging. Het product wordt een handige service voor industriële bedrijven en andere marktvertegenwoordigers.

Andrey Belevtsev, directeur digitale transformatie, Gazprom Neft

Vier nieuwe services voor het opslaan en beheren van gegevens

In 2020 werd de categorie gegevensopslag- en beheerdiensten een van de snelst groeiende gebieden van het Yandex.Cloud-platform en overtrof het de traditionele diensten van de leider: verhuur van virtuele machines.Met cloudgebaseerde gegevensbeheerservices lossen bedrijven, ongeacht hun grootte of branche,taken zoals gegevensopslag en -verwerking, analyse en visualisatie.

De diensten van manageddatabases (Managed Databases) - sinds begin 2020 is het verbruik van deze services op het Yandex.Cloud-platform verdrievoudigd en is het aantal door gebruikers aangemaakte databases meer dan 10.000.

  • Wat is er eerder gebeurd?

Op ons platform Yandex.Cloud was al beschikbaar door op bijna alle meest populaire oplossingen op de markt op het gebied van dataopslag en -verwerking te klikken. We hebben dit jaar aanzienlijke verbeteringen aangebracht in onze datamigratiescenario's. Om dit te doen, hebben we twee nieuwe services toegevoegd die de overdracht van gegevens tussen alle bronnen vereenvoudigen - Managed Service voor Kafka, en een gespecialiseerde oplossing voor het overbrengen van gegevens tussen databases - Data Transfer. In het segment van databases voor algemene doeleinden is de cloud met de nieuwe Managed Service voor SQL Server nog toegankelijker geworden voor Enterprise-gebruikers. Managed Service for Elastic Search, een populaire oplossing die zoeken in volledige tekst en scenario's voor ad-hocanalyse ondersteunt, is verschenen in de familie van analyseoplossingen.

Alexey Bashkeev, hoofd van het Yandex.Cloud-platform

  • Wat komt er nu aan?

Vanaf 23 september hebben gebruikers Yandex.Cloud toegang tot de nieuwe Data Transfer-service, waarmeeGegevens overdragen tussen DBMS'en zonder toepassingen te onderbreken, ongeacht ofwaar ze worden ingezet. Met Data Transfer kunt u databases snel en veilig migreren van andere cloudplatforms of on-premises databases naar Yandex.Cloud beheerde databaseservices.U kunt Data Transfer ook gebruiken om gegevens tussen verschillende databases op het platform te verplaatsen en back-ups in te stellen.

Ook is de beheerde service vrijgegeven.Kafka is een systeem voor het streamen van gegevens naar analytische systemen. De dienst voor het zoeken en analyseren van gegevens ElasticSearch en een van de meest populaire commerciële databasebeheersystemen ter wereld voor werk in het ecosysteem van Microsoft SQL Server-producten zijn toegevoegd. In totaal zijn er nu 9 beheerde databaseservices beschikbaar op het Yandex.Cloud-platform, die de meeste scenario's voor het opslaan en verwerken van gegevens dekken.

Een nieuw deel van de marktplaats met data voor business intelligence

In de Yandex.Cloud, is de sectie "Geolayers" verschenen, die geanonimiseerde geo-informatiegegevens van servicepartners bevat. Ze kunnen hun inhoud gratis of tegen betaling posten. Yandex.Cloud-klanten hebben toegang tot de benodigde gegevens in de service-interface, analyseren deze met Yandex DataLens en gebruiken deze voor zakelijke doeleinden. Gebruikers kunnen bijvoorbeeld de potentiële vraag naar producten of mogelijkheden voor het openen van verkooppunten inschatten, uitbreidingen van de toeleveringsketen of marketingcampagnes plannen.

Inhoud van twee partners is al beschikbaar in de sectie -"Centrum voor Ruimtelijk Onderzoek" op commerciële basis en Rosstat op gratis basis, evenals twee voorbeelden van geoanalyse van Yandex - "Publiek: interesses en sociale demografie" en "Organisaties: vraag en aanbod". Met DataLens kunnen gebruikers alle datavoorinstellingen combineren en analyseren om zakelijke beslissingen te nemen.

We streven ernaar om partners niet alleen technologie te bieden,en tools om geld te verdienen met elk intellectueel product dat kan worden gemaakt of verbeterd met behulp van de cloud. Afzonderlijk zou ik willen opmerken dat alle inhoud van de sectie "Geolayers" uitsluitend geaggregeerde en geanonimiseerde gegevens is, waarvoor het onmogelijk is om details voor een specifiek apparaat of gebruiker te verkrijgen.

Oleg Koverznev, Chief Operating Officer Yandex.Cloud

Wie trad op als partner van Yandex.Cloud?

Analytics is gemaakt in samenwerking metRosstat. De samenwerkingsovereenkomst houdt in dat er gezamenlijk wordt gewerkt aan het voorbereiden van pakketten met verschillende open data. Essentiële statistieken en andere demografische informatie zijn al beschikbaar.

Rosstat publiceert grootreeksen gegevens beschikbaar voor elke gebruiker. Dankzij de samenwerking met Yandex.Cloud krijgen ze extra waarde voor onderzoekers, analisten en het bedrijfsleven. Met platformtools kunt u bronnen combineren, snelle analyses maken, visuele visualisaties bouwen en als resultaat snelle strategische beslissingen nemen.

Pavel Smelov, plaatsvervangend hoofd van Rosstat

Centrum voor Ruimtelijk Onderzoek voorziengeografische informatiegegevens over de bevolking, huishoudens in nieuwe gebouwen, evenals indices voor bedrijfspotentieel voor verschillende gebieden. Bovendien is er gratis een dashboard beschikbaar voor het monitoren van de netwerkhandel in de Russische Federatie, dat sinds 2015 actief is en een index bevat van de ontwikkeling van de regio vanuit het perspectief van federale retailspelers.

Volgens de algemeen directeur van het Centrum voor RuimtelijkDenis Strukov's onderzoek, analytische tools, indices en expertise, gecombineerd met de mogelijkheden van DataLens, is een tijdig antwoord op de vraag van de B2B- en B2C-markten. Dit, zei hij, is een cloudversie van locatie-intelligentie, die zich onlangs in het buitenland en nu in Rusland heeft ontwikkeld.

Algemene toegang tot de Yandex-marktplaats.Cloud is in 2019 geopend. Dit is een platform waar Cloud-klanten rechtstreeks toegang kunnen krijgen tot bedrijfsapplicaties van ontwikkelaars en uitgevers. Tegenwoordig zijn er 47 applicaties en diensten beschikbaar: van besturingssystemen tot informatiebeveiligingstools voor genetische analyse.

Yandex.Cloud opent openbare toegang tot een nieuwe dienst voor ontwikkeling op basis van machine learning DataSphere

Yandex.Cloud biedt algemene toegang tot de service voor ontwikkelaars van machine learning Yandex DataSphere. De service helpt bedrijven en individuele ontwikkelaars om de kosten voor het maken en gebruiken van machine learning-modellen te verlagen, automatisch de hoeveelheid en het type computerbronnen te beheren en de verspilde tijd te verminderen bij het maken en organiseren van een ontwikkelomgeving. Yandex DataSphere is vanaf 1 oktober openlijk beschikbaar.

Waarom is dit relevant?

De wereldwijde uitgaven van bedrijven aan kunstmatignaar verwachting zal de inlichtingendienst in de komende vier jaar verdubbelen van $ 50 miljard in 2020 tot $ 110 miljard in 2024. Eind 2019 bedroegen de uitgaven van Russische bedrijven aan AI 172 miljoen dollar, met een verwachte jaarlijkse groei van 30%. Op machine learning gebaseerde ontwikkelingen worden al actief gebruikt door veel Russische bedrijven. Bijvoorbeeld in de geneeskunde om oplossingen te creëren voor de analyse van afbeeldingen, in de detailhandel voor de ontwikkeling van aanbevelingssystemen.

Machine learning-technieken worden steeds meerpopulaire zakelijke tool over de hele wereld. Maar voor veel bedrijven is het nog steeds niet beschikbaar vanwege de hoge instapdrempel en de kosten van de benodigde rekenmiddelen. Om deze problemen op te lossen hebben we DataSphere gemaakt, waar je met een klik op de knop een kant-en-klare ML-omgeving kunt krijgen. Er zijn verschillende soorten computerbronnen beschikbaar - van klassieke capaciteiten tot GPU's en gedistribueerd computergebruik, en er wordt alleen gefactureerd voor het werkelijk verbruikte serververmogen tijdens het uitvoeren van uw taken.

Alexey Bashkeev, manager Yandex.Cloud-platforms

Wat is er nieuw bij Yandex.Cloud?

  • Serverloze computertechnologie voor het ontwikkelen van machine learning-modellen.

De technologie automatiseert het beheer van hulpbronnen enmaakt aanzienlijke besparingen mogelijk. In DataSphere worden bij het bewerken en bekijken van code de computerbronnen van de CPU of GPU niet gebruikt; een virtuele machine van het vereiste type wordt alleen aangesloten voor de duur van de daadwerkelijke berekeningen (modeltraining, lancering, andere berekeningen).

Hierdoor betaalt de gebruiker alleen voordaadwerkelijk verbruikte computerbronnen. Tijd voor het bewerken en beoordelen van code, werk van een virtuele machine die niet per ongeluk wordt uitgeschakeld, wordt niet in rekening gebracht. Volgens DataSphere-tests, waarbij 200 gebruikers uit verschillende vakgebieden betrokken waren, bedraagt ​​de downtime van rekenkracht bij het ontwikkelen van machine learning 50-70%. Bij gebruik van het product wordt deze tijd niet in rekening gebracht.

  • Naadloos schakelen tussen verschillende soorten computerbronnen geïmplementeerd.

Dit betekent dat binnen één trainingsscenariomodel kan de gebruiker verschillende soorten virtuele machines gebruiken - zuinig met conventionele processors (CPU's) en sneller met GPU's (grafische versnellers). De trainingsvoortgang van het model blijft hetzelfde. In de meeste cloudgebaseerde ontwikkelomgevingen voor machine learning kan het trainingsmodel slechts op één type machine worden berekend.

  • Sla versies van modelberekeningen op, inclusief gegevens, code en statussen.

Deze functie maakt het proces van het ontwikkelen van machine learning winstgevender voor het bedrijfsleven: de geboekte vooruitgang op het gebied van training gaat niet verloren, maar kan indien nodig worden gereproduceerd.

Yandex SpeechKit Pro helpt stemrobots slimmer en menselijker te maken

Yandex-platform.Cloud introduceerde een specialisatie van de SpeechKit-service: Yandex SpeechKit Pro. Dit is een programma voor ontwikkelingsbedrijven, waarvan de deelnemers toegang krijgen tot nieuwe tools voor het maken van robots en stemassistenten gericht op het werken in een specifieke branche of bedrijf.

Dergelijke robots zullen woorden en commando's kunnen herkennen.over een specifiek onderwerp met de hoogste nauwkeurigheid. De nieuwe tools zullen helpen om servicescenario's in de bank, de gezondheidszorg of de bezorging drastisch te verbeteren. Met SpeechKit Pro kunt u ook individuele kenmerken van een stemrobot creëren: intonatie en manier van communiceren.

Waarom is dit relevant?

Tegen 2020 zijn spraaksynthese en -herkenning een gewordende meest populaire ML-service op het Yandex.Cloud-platform. Sinds het begin van het jaar is het SpeechKit-verbruik met 120% gegroeid. Het aantal actieve projecten heeft de 500 overschreden. In Rusland heeft zich al een ecosysteem van ontwikkelaars en integratoren van oplossingen gevormd, die, op verzoek van bedrijven uit verschillende vakgebieden, stemrobots creëren en implementeren om inkomende en uitgaande oproepen te helpen verwerken, stembesturing systemen in applicaties en klantenserviceterminals, en analyseoplossingen voor de efficiëntie van zakelijke communicatie.

Tegenwoordig zijn er meer dan twintig bedrijven, waarvan de meestevan wie vaste partners zijn van het Yandex.Cloud-platform. Volgens partners waren de belangrijkste motieven voor de introductie van stemrobots in Russische bedrijven de afgelopen twee jaar kostenreductie en snelle schaalvergroting van oplossingen.

Samen met onze partners hebben we een geweldige tijd meegemaaktmanier, om van spraaktechnologieën van een exotische dienst in twee jaar tijd een toegepast zakelijk hulpmiddel te maken. Nu zetten we de volgende stap en openen we een nieuw niveau van Yandex-spraaktechnologieën voor partners. Ontwikkelingsbedrijven krijgen toegang tot de geavanceerde functies van SpeechKit en klanten van oplossingen kunnen de leverancier met de meest geschikte expertise selecteren.

Alexey Bashkeev, hoofd van het Yandex.Cloud-platform

Hoe past de oplossing zich aan verschillende zakelijke taken aan?

Samen met de zakelijke interesse in de spraakmogelijkhedentechnologieën, de vereisten voor herkenningsnauwkeurigheid in specifieke scenario's van interactie tussen spraakrobots en mensen zijn ook toegenomen, het vermogen om snel ontwikkelingen aan te passen voor nieuwe taken.

Bijvoorbeeld voor een rederijHet is van fundamenteel belang dat de robot niet in de war raakt bij het evalueren van de betekenis van de zinnen "Bestelling overdragen" of "Voer de bestelling in", en voor telecommunicatiebedrijven - om onderscheid te maken tussen de zinnen "Service inschakelen" en "Service uitschakelen" zonder fouten. De prioriteit van een bedrijf is nauwkeurigheid op zijn gebied, het vermogen om applicatie-ervaring te ontwikkelen in een specifiek bedrijfsscenario op basis van objectieve indicatoren.

Om deze problemen op te lossen, Yandex.Cloud biedt partners aanvullende ontwikkelingstools binnen de SpeechKit Pro-specialisatie. Partnerbedrijven kunnen nu audiodatatagging gebruiken, individuele spraakherkenningsmodellen trainen met behulp van klantgegevens, de kwaliteitsstatistieken van spraakherkenning monitoren en herkenningsmodellen aanpassen aan een specifieke datastroom.

Specialisatie SpeechKit Pro is al ontvangen door Neuro.net, Just.ai, Aviation Communication Technologies, Naumen, Robovoice en Voximplant.

Het Yandex.Cloud-platform breidde het service-ecosysteem uit met serverloze computertechnologieën

Yandex.Cloud heeft zijn service-ecosysteem uitgebreid met eigen serverloze computertechnologieën. Er zijn nog twee services toegevoegd aan de vier services die in 2019 zijn aangekondigd: Yandex API Gateway en Yandex Database in serverloze modus.

Wat betekent dit?

Serverless computing bevrijdt bedrijven vankosten voor het oplossen van problemen bij het toewijzen en configureren van cloudinfrastructuur: virtuele machines, clouddatabaseservers en applicaties. Deze taken worden nu automatisch uitgevoerd aan de kant van het Yandex.Cloud-platform.

Bij gebruik van serverloze technologieënHet computerplatform detecteert bijvoorbeeld automatisch een toename van het aantal gebruikersverzoeken aan de bedrijfsapplicatie en wijst de middelen toe die nodig zijn voor een stabiele werking. Zodra de belasting van de applicatie afneemt, neemt de hoeveelheid stroom die nodig is om deze te laten werken af. Hierdoor kunnen gebruikers overstappen op een nieuw betalingsprincipe voor Russische clouds – alleen op basis van het daadwerkelijke verbruik van diensten – en aanzienlijke besparingen realiseren.

Yandex.Cloud is het eerste cloudplatform in Rusland dat een compleet serverloos computerecosysteem biedt. We hebben de meest noodzakelijke gegevensopslag- en verwerkingstechnologieën verzameld voor het oplossen van urgente zakelijke problemen en deze beschikbaar gesteld in een serverloze modus. Serverloos computergebruik is een nieuwe fase in de ontwikkeling van cloudtechnologieën over de hele wereld. Dit is een kans om de kosten tot wel 90% te verlagen, de tijd om nieuwe oplossingen te creëren en te implementeren te versnellen, de veerkracht van applicaties te vergroten tijdens periodes van piekbelasting, en bedrijven te bevrijden van de taak om de service op te schalen.

Alexey Bashkeev, hoofd van het Yandex.Cloud-platform

Hoe werkt het?

Het serverloze technologie-ecosysteem van Yandex.Cloud omvat nu zes services: Yandex Object Storage—universele schaalbare oplossing voordata opslag; API Gateway - een service voor het maken en beheren van API's; code uitvoeren in de vorm van functies - Yandex Cloud Functions; fouttolerant databasebeheersysteem - Yandex Database;een universele schaalbare oplossing voor het uitwisselen van berichten tussen applicaties - Yandex Message Queue en de Internet of Things-service Yandex IoT Core.

Voor alle serverless computing-ecosysteemdienstenGedurende het eerste jaar (tot oktober 2021) hanteert Yandex.Cloud speciale tarieven waarmee gebruikers hun diensten gratis kunnen creëren en hosten, waarbij een bepaald belastingsniveau niet wordt overschreden.

Lees ook

In het tijdperk van ecosystemen: hoe IT-reuzen veranderen in interfaces van ons dagelijks leven

De Doomsday-gletsjer bleek gevaarlijker te zijn dan wetenschappers dachten. We vertellen het belangrijkste

GitHub heeft de term "master" vervangen door een neutraal equivalent