Yandex Scale 2020: du marché des données aux clouds hybrides

Solution pour créer des nuages ​​de données hybrides

La société Gazprom Neft et la plateforme Yandex.Cloud présentées

solution pour créer des nuages ​​de données hybrides.Avec son aide, les organisations gouvernementales et les entreprises privées pourront mettre en œuvre les technologies Yandex.Cloud, même si elles sont soumises à des restrictions techniques ou réglementaires sur l'utilisation des services publics de stockage et de traitement des données.

  • Comment cela fonctionnera-t-il?

L'utilisateur de la solution informatique bénéficie de l'intégralitéun complexe matériel et logiciel prêt à l'emploi créé sur la base des équipements et technologies Yandex.Cloud. Le complexe est installé dans le centre de données du client et devient partie intégrante de sa propre plateforme de travail avec les données. D'autres services - prévention, configuration, mise à jour et autres maintenances de routine - sont effectués conformément aux normes Yandex.Cloud.

  • Comment le matériel de l'entreprise fonctionnera-t-il avec le nouveau produit ?

Le nouveau produit informatique s'intègre auxles systèmes de stockage et de traitement des données d'entreprise et les services de cloud public. Le résultat est un cloud hybride qui étend les capacités de l'infrastructure numérique de l'entreprise, vous permet de définir des normes de sécurité plus élevées et de prendre en compte d'autres spécificités d'un utilisateur spécifique.

Lors de l'approbation, des spécialistes de Gazpromoil »a participé à l'élaboration des exigences de la solution hybride et est effectivement devenu un partenaire dans la conception de son architecture. Par conséquent, nos clients recevront non seulement un complexe matériel et logiciel entièrement prêt à l'emploi basé sur les technologies Yandex.Cloud, mais également un service de support et de mise à jour régulière du produit, en tenant compte du développement de notre plateforme publique.

Oleg Koverznev, chef de l'exploitation, Yandex.Cloud

  • Quelle est la prochaine étape prévue?

Poursuite du développement du partenariat technologiqueentre Gazprom Neft et la plateforme Yandex.Cloud permettra de tester une nouvelle solution numérique dans différents scénarios d'exploitation industrielle. Gazprom Neft envisage la possibilité d'utiliser un cloud hybride pour développer son cluster informatique et les développements dans le domaine de l'intelligence artificielle, qui permettent de rechercher de nouvelles réserves de pétrole et de contrôler à distance les opérations technologiques pour sa production. En outre, une capacité supplémentaire peut être utilisée pour améliorer l'efficacité de l'équilibrage des charges de travail sur l'infrastructure informatique de production.

Chaque année, nos usines et nos champs pétrolifères créentenviron 5 Po de nouvelles données. Nous ne stockons pas seulement ces informations, mais prenons des décisions au quotidien en fonction de leur analyse, les utilisons dans la modélisation des processus technologiques et la formation des réseaux de neurones. La particularité du travail dans les régions éloignées de la Sibérie et de l'Arctique nécessite une grande puissance de calcul distribuée, qui serait régulée d'un seul endroit. La création d'un cloud hybride résout ce problème et assure la sécurité des informations. Le produit deviendra un service pratique pour les entreprises industrielles et autres représentants du marché.

Andrey Belevtsev, directeur de la transformation numérique chez Gazprom Neft

Quatre nouveaux services de stockage et de gestion des données

Catégorie de services de stockage et de gestionles données sont devenues l'un des domaines à la croissance la plus rapide de la plate-forme Yandex.Cloud en 2020, dépassant la dynamique de croissance des services du leader traditionnel - la location de machines virtuelles. Avec l'aide des services de gestion de données cloud, les entreprises, quels que soient leur taille et leur domaine d'activité, résolvent des problèmes tels que le stockage et le traitement des données, l'analyse et la visualisation.

Les services debases de données (Managed Databases) - depuis début 2020, la consommation de ces services sur la plateforme Yandex.Cloud a triplé et le nombre de bases de données créées par les utilisateurs a dépassé les 10000.

  • Qu'est-il arrivé avant?

Dans notre plateforme Yandex.Le cloud était déjà disponible en cliquant sur presque toutes les solutions les plus populaires du marché pour le stockage et le traitement des données. Nous avons considérablement amélioré nos scénarios de migration de données cette année. Pour ce faire, nous avons ajouté deux nouveaux services qui simplifient le transfert de données entre toutes les sources - Service géré pour Kafka, et une solution spécialisée pour le transfert de données entre bases de données - Transfert de données. Dans le segment des bases de données à usage général, le cloud est devenu encore plus accessible pour les utilisateurs d'entreprise avec le nouveau service géré pour SQL Server. Managed Service for Elastic Search, une solution populaire qui prend en charge la recherche en texte intégral et les scénarios d'analyse ad hoc, est apparue dans la famille des solutions analytiques.

Alexey Bashkeev, responsable de la plateforme Yandex.Cloud

  • Qu'est-ce qui arrive maintenant?

Du 23 septembre aux utilisateurs de Yandex.Le Cloud a désormais accès au nouveau service Data Transfer, qui permet de transférer des données entre SGBD sans arrêter les applications, quel que soit l'endroit où elles sont déployées. Le transfert de données vous aide à migrer rapidement et en toute sécurité des bases de données depuis d'autres plates-formes cloud ou des bases de données locales vers les services de bases de données gérés Yandex.Cloud. Vous pouvez également utiliser Data Transfer pour déplacer des données entre différentes bases de données sur la plateforme et configurer des sauvegardes.

En outre, le service géré a été publié.Kafka est un système de streaming de données vers des systèmes analytiques. Le service de recherche et d'analyse de données ElasticSearch et l'un des systèmes de gestion de bases de données commerciales les plus populaires au monde pour travailler dans l'écosystème des produits Microsoft SQL Server ont été ajoutés. Au total, 9 services de bases de données gérées sont désormais disponibles sur la plateforme Yandex.Cloud, couvrant la plupart des scénarios de stockage et de traitement des données.

Nouvelle section Marketplace avec des données pour l'analyse commerciale

Dans le Yandex.Cloud dispose désormais d'une section intitulée "Geolayers", qui contient des données de géoinformation anonymes des partenaires de service. Ils peuvent publier leur contenu gratuitement ou moyennant des frais. Les clients Yandex.Cloud accéderont aux données nécessaires dans l'interface de service, les analyseront à l'aide de Yandex DataLens et les utiliseront à des fins commerciales. Par exemple, les utilisateurs peuvent évaluer la demande potentielle de produits ou les perspectives d'ouverture de points de vente, planifier l'expansion des zones d'approvisionnement ou des campagnes de marketing.

Le contenu de deux partenaires est déjà disponible dans la section -« Centre de recherche spatiale » sur une base commerciale et Rosstat sur une base gratuite, ainsi que deux exemples de géoanalyse de Yandex - « Public : intérêts et démographie sociale » et « Organisations : offre et demande ». Avec DataLens, les utilisateurs peuvent combiner et analyser tous les préréglages de données pour prendre des décisions commerciales.

Nous nous efforçons de fournir aux partenaires non seulement de la technologie,et des outils de monétisation de tout produit intellectuel qui peut être fabriqué ou amélioré à l'aide du cloud. Par ailleurs, je voudrais noter que tout le contenu de la section "Geolayers" est exclusivement des données agrégées et anonymisées, pour lesquelles il est impossible d'obtenir des détails pour un appareil ou un utilisateur spécifique.

Oleg Koverznev, chef de l'exploitation Yandex.Cloud

Qui a agi en tant que partenaire de Yandex.Cloud ?

Analytics est créé en collaboration avecRosstat. L'accord de coopération prévoit un travail commun sur la préparation de paquets de diverses données ouvertes. Les statistiques de l'état civil et d'autres informations démographiques sont déjà disponibles.

Rosstat publie de grandestableaux de données disponibles pour tout utilisateur. Grâce à la coopération avec Yandex.Cloud, ils gagneront une valeur supplémentaire pour les chercheurs, les analystes et les entreprises. Les outils de la plateforme vous permettent de combiner des sources, d'effectuer des analyses rapides, de créer des visualisations visuelles et, par conséquent, de prendre des décisions stratégiques rapides.

Pavel Smelov, directeur adjoint de Rosstat

Centre de recherche spatiale fournides données d'information géographique sur la population, les ménages dans les nouveaux bâtiments, ainsi que des indices de potentiel commercial pour diverses zones. En outre, un tableau de bord permettant de surveiller le commerce en réseau dans la Fédération de Russie est disponible gratuitement depuis 2015 et contient un indice du développement de la région du point de vue des acteurs fédéraux du commerce de détail.

Selon le directeur général du Center for SpatialLa recherche, les outils d'analyse, les indices et l'expertise de Denis Strukov, combinés aux capacités de DataLens, sont une réponse opportune à la demande des marchés B2B et B2C. Ceci, a-t-il dit, est une version cloud de l'intelligence de localisation, qui s'est récemment développée à l'étranger, et maintenant en Russie.

Accès général au marché Yandex.Cloud ouvert en 2019. Il s'agit d'une plateforme où les clients Cloud peuvent accéder directement aux applications métiers des développeurs et des éditeurs. Aujourd'hui, 47 applications et services sont disponibles : des systèmes d'exploitation aux outils de sécurité de l'information pour l'analyse génétique.

Yandex.Cloud ouvre l'accès public à un nouveau service de développement basé sur le machine learning DataSphere

Yandex.Cloud fournit un accès général au service pour les développeurs de machine learning Yandex DataSphere. Le service aide les entreprises et les développeurs individuels à réduire le coût de création et d'exploitation de modèles d'apprentissage automatique, à gérer automatiquement la quantité et le type de ressources informatiques et à réduire le temps perdu pour créer et organiser un environnement de développement. Yandex DataSphere sera ouvertement disponible à partir du 1er octobre.

Pourquoi est-ce pertinent?

Dépenses mondiales des entreprises en artificiell'intelligence devrait doubler au cours des quatre prochaines années, passant de 50 milliards de dollars en 2020 à 110 milliards de dollars en 2024. À la fin de 2019, les entreprises russes ont dépensé 172 millions de dollars pour l'IA avec une prévision de croissance de 30% par an. Les développements basés sur l'apprentissage automatique sont déjà activement utilisés par de nombreuses entreprises russes. Par exemple, en médecine pour créer des solutions d'analyse d'image, dans le commerce de détail pour le développement de systèmes de recommandation.

Les techniques d'apprentissage automatique deviennent de plus en plusoutil commercial populaire dans le monde entier. Mais pour de nombreuses entreprises, il n'est toujours pas disponible en raison du seuil d'entrée élevé et du coût des ressources informatiques nécessaires. Pour résoudre ces problèmes, nous avons créé DataSphere, où vous pouvez obtenir un environnement ML prêt à l'emploi en un clic. Différents types de ressources informatiques y sont disponibles - des capacités classiques aux GPU et à l'informatique distribuée, et la facturation se produit uniquement pour la puissance du serveur réellement consommée lors de l'exécution de vos tâches.

Alexey Bashkeev, chef Plateformes Yandex.Cloud

Quoi de neuf avec Yandex.Cloud ?

  • Technologie informatique sans serveur pour développer des modèles d'apprentissage automatique.

La technologie automatise la gestion des ressources etpermet de réaliser des économies importantes. Dans DataSphere, lors de l'édition et de la visualisation du code, les ressources de calcul du CPU ou du GPU ne sont pas utilisées ; une machine virtuelle du type requis n'est connectée que pendant la durée des calculs proprement dits (entraînement du modèle, lancement, autres calculs).

En conséquence, l'utilisateur ne paie que pourressource informatique réellement consommée. Le temps d'édition et de révision du code, le travail d'une machine virtuelle qui n'est pas accidentellement éteinte n'est pas facturé. Selon les tests DataSphere, qui ont impliqué 200 utilisateurs de divers domaines, le temps d'arrêt de la puissance de calcul lors du développement de l'apprentissage automatique est de 50 à 70 %. Lors de l'utilisation du produit, ce temps ne sera pas facturé.

  • Implémentation d'une commutation transparente entre différents types de ressources informatiques.

Cela signifie que dans un scénario de formationmodèle, l'utilisateur peut utiliser différents types de machines virtuelles - économiques avec les processeurs conventionnels (CPU) et plus rapides avec les GPU (accélérateurs graphiques). La progression de la formation du modèle restera la même. Dans la plupart des environnements de développement de machine learning basés sur le cloud, le modèle de formation ne peut être calculé que sur un seul type de machine.

  • Enregistrez les versions des calculs du modèle, y compris les données, le code et les états.

Cette fonctionnalité rend le processus de développement du machine learning plus rentable pour les entreprises : les progrès réalisés en formation ne sont pas perdus, ils peuvent être reproduits si nécessaire.

Yandex SpeechKit Pro aidera à rendre les robots vocaux plus intelligents et plus humains

Plateforme Yandex.Cloud a introduit une spécialisation du service SpeechKit - Yandex SpeechKit Pro. Il s'agit d'un programme destiné aux entreprises de développement, dont les participants auront accès à de nouveaux outils pour créer des robots et des assistants vocaux axés sur le travail dans un secteur ou une entreprise spécifique.

Ces robots seront capables de reconnaître des mots et des commandessur un sujet spécifique avec le plus haut niveau de précision. Les nouveaux outils aideront à améliorer considérablement les scénarios de services dans les secteurs de la banque, de la santé et de la livraison. SpeechKit Pro vous permet également de créer des fonctionnalités individuelles d'un robot vocal: l'intonation et le mode de communication.

Pourquoi est-ce pertinent?

D’ici 2020, la synthèse et la reconnaissance vocales sont devenuesle service ML le plus populaire sur la plateforme Yandex.Cloud. Depuis le début de l'année, la consommation de SpeechKit a augmenté de 120 %. Le nombre de projets actifs a dépassé les 500. En Russie, un écosystème de développeurs et d'intégrateurs de solutions s'est déjà formé, qui, à la demande d'entreprises de divers domaines, créent et mettent en œuvre des robots vocaux pour aider à traiter les appels entrants et sortants, la commande vocale systèmes dans les applications et les terminaux de service client, et solutions d'analyse de l'efficacité des communications d'entreprise.

Il existe aujourd'hui plus de 20 entreprises, pour la plupartdont sont des partenaires réguliers de la plateforme Yandex.Cloud. Selon les partenaires, au cours des deux dernières années, les principales motivations pour l'introduction des robots vocaux dans les entreprises russes ont été la réduction des coûts et la mise à l'échelle rapide des solutions.

Avec nos partenaires, nous avons traversé une grandeen faisant des technologies vocales d'un service exotique un outil métier appliqué en deux ans. Nous passons maintenant à l'étape suivante et ouvrons un nouveau niveau de technologies vocales Yandex pour les partenaires. Les sociétés de développement auront accès aux fonctionnalités avancées de SpeechKit et les clients de la solution pourront sélectionner le fournisseur possédant l'expertise la plus appropriée.

Alexey Bashkeev, responsable de la plateforme Yandex.Cloud

Comment la solution s'adaptera-t-elle aux différentes tâches métier?

Avec l'intérêt des entreprises pour les possibilités de paroletechnologies, les exigences de précision de reconnaissance dans des scénarios spécifiques d'interaction entre les robots vocaux et les humains ont également augmenté, la capacité à adapter rapidement les développements pour de nouvelles tâches.

Par exemple, pour une compagnie maritimeIl est fondamentalement important que le robot ne se trompe pas dans l'évaluation de la signification des expressions «Transférer la commande» ou «Entrer la commande», et pour les entreprises de télécommunications - qu'il fasse la distinction entre les expressions «Activer le service» et «Désactiver le service» sans erreur. La priorité d'une entreprise est la précision dans son domaine, la capacité à développer une expérience applicative dans un scénario d'entreprise spécifique basé sur des indicateurs objectifs.

Pour résoudre ces problèmes, Yandex.Cloud fournit aux partenaires des outils de développement supplémentaires au sein de la spécialisation SpeechKit Pro. Désormais, les entreprises partenaires pourront utiliser le marquage des données audio, former des modèles de reconnaissance vocale individuels à l'aide des données clients, surveiller les mesures de qualité de la reconnaissance vocale et adapter les modèles de reconnaissance à un flux de données spécifique.

Spécialisation SpeechKit Pro a déjà été reçu par Neuro.net, Just.ai, Aviation Communication Technologies, Naumen, Robovoice et Voximplant.

Écosystème de services étendu de la plateforme Yandex.Cloud avec des technologies informatiques sans serveur

Yandex.Le cloud a élargi son écosystème de services avec des technologies informatiques propriétaires sans serveur. Aux quatre services annoncés en 2019, deux autres ont été ajoutés - Yandex API Gateway et Yandex Database en mode Serverless.

Qu'est ce que cela signifie?

L'informatique sans serveur libère les entreprisescoûts pour résoudre les problèmes d'allocation et de configuration de l'infrastructure cloud : machines virtuelles, serveurs de bases de données cloud et applications. Ces tâches sont désormais effectuées automatiquement du côté de la plateforme Yandex.Cloud.

Lors de l'utilisation de technologies sans serveurLa plateforme informatique détecte automatiquement, par exemple, une augmentation du nombre de demandes d'utilisateurs vers l'application de l'entreprise et alloue les ressources nécessaires à un fonctionnement stable. Dès que la charge d’une application diminue, la quantité d’énergie utilisée pour l’exécuter diminue également. Cela permet aux utilisateurs de passer à un nouveau principe de paiement pour les cloud russes - uniquement basé sur la consommation réelle des services - et de réaliser des économies significatives.

Yandex.Le cloud est la première plateforme cloud en Russie à offrir un écosystème informatique complet sans serveur. Nous avons rassemblé les technologies de stockage et de traitement des données les plus nécessaires pour résoudre les problèmes commerciaux urgents et les avons mises à disposition en mode sans serveur. L'informatique sans serveur est la prochaine étape du cloud computing dans le monde. C'est une opportunité de réduire les coûts jusqu'à 90%, d'accélérer le temps de création et de mise en œuvre de nouvelles solutions, d'augmenter la résilience des applications pendant les périodes de pointe, de libérer les entreprises des tâches de mise à l'échelle du service.

Alexey Bashkeev, responsable de la plateforme Yandex.Cloud

Comment cela fonctionnera-t-il?

L'écosystème technologique sans serveur Yandex.Cloud comprend désormais six services: Yandex Object Storagesolution évolutive universelle pourstockage de données; API Gateway - un service de création et de gestion d'API ; exécuter du code sous forme de fonctions - Yandex Cloud Functions ; système de gestion de base de données tolérant aux pannes - Base de données Yandex;une solution universelle évolutive pour échanger des messages entre applications - Yandex Message Queue et le service Internet des objets Yandex IoT Core.

Pour tous les services de l’écosystème informatique sans serveurAu cours de la première année (jusqu'en octobre 2021), Yandex.Cloud propose des tarifs spéciaux qui permettent aux utilisateurs de créer et d'héberger leurs services gratuitement, sans dépasser un certain niveau de charge.

Lisez aussi

À l'ère des écosystèmes: comment les géants de l'informatique se transforment en interfaces de notre vie quotidienne

Le glacier Doomsday s'est avéré plus dangereux que les scientifiques ne le pensaient. Nous disons l'essentiel

GitHub a remplacé le terme «maître» par un équivalent neutre