Yandex Scale 2020: do mercado de dados às nuvens híbridas

Solução para criar nuvens de dados híbridas

A empresa Gazprom Neft e a plataforma Yandex.Cloud apresentadas

solução para criação de nuvens de dados híbridas.Com a sua ajuda, organizações governamentais e empresas privadas poderão implementar tecnologias Yandex.Cloud, mesmo que estejam sujeitas a restrições técnicas ou regulamentares à utilização de serviços públicos de armazenamento e processamento de dados.

  • Como vai funcionar?

O usuário da solução de TI recebe totalum complexo de hardware e software pronto para uso criado com base em equipamentos e tecnologias Yandex.Cloud. O complexo é instalado no data center do cliente e passa a fazer parte de sua própria plataforma de trabalho com dados. Outros serviços – prevenção, configuração, atualização e outras manutenções de rotina – são realizados de acordo com os padrões Yandex.Cloud.

  • Como funcionará o hardware da empresa com o novo produto?

O novo produto de TI se integra comsistemas de armazenamento e processamento de dados corporativos e serviços de nuvem pública. O resultado é uma nuvem híbrida que expande os recursos da infraestrutura digital da empresa, permite definir padrões de segurança mais elevados e levar em consideração outras especificidades de um usuário específico.

Durante a aprovação, especialistas da GazpromOil ”participou do desenvolvimento de requisitos para a solução híbrida e se tornou parceira no desenho de sua arquitetura. Assim, os nossos clientes receberão não só um complexo de hardware e software totalmente pronto a usar baseado nas tecnologias Yandex.Cloud, mas também um serviço de apoio e atualização regular do produto, tendo em conta o desenvolvimento da nossa plataforma pública.

Oleg Koverznev, Diretor de Operações, Yandex.Cloud

  • O que está planejado a seguir?

Desenvolvimento adicional de parceria de tecnologiaentre a Gazprom Neft e a plataforma Yandex.Cloud permitirá testar uma nova solução digital em vários cenários de operação industrial. A Gazprom Neft está a estudar a possibilidade de utilizar uma nuvem híbrida para desenvolver o seu cluster informático e desenvolvimentos no domínio da inteligência artificial, que são utilizados para a procura de novas reservas de petróleo e controlo remoto das operações tecnológicas para a sua produção. Além disso, a capacidade adicional pode ser usada para melhorar a eficiência de balanceamento de cargas de trabalho na infraestrutura de TI de produção.

Todos os anos, nossas fábricas e campos de petróleo criamcerca de 5 PB de novos dados. Não apenas armazenamos essas informações, mas tomamos decisões no dia a dia com base em suas análises, utilizamos na modelagem de processos tecnológicos e no treinamento de redes neurais. A peculiaridade de trabalhar em regiões remotas da Sibéria e do Ártico requer grande capacidade de computação distribuída, que seria regulada de um lugar. A criação de uma nuvem híbrida resolve esse problema e fornece segurança da informação. O produto se tornará um serviço conveniente para empresas industriais e outros representantes do mercado.

Andrey Belevtsev, diretor de transformação digital da Gazprom Neft

Quatro novos serviços para armazenamento e gerenciamento de dados

Categoria de serviços de armazenamento e gerenciamentoos dados se tornaram uma das áreas de crescimento mais rápido da plataforma Yandex.Cloud em 2020, superando a dinâmica de crescimento dos serviços do líder tradicional - aluguel de máquinas virtuais. Com a ajuda de serviços de gerenciamento de dados em nuvem, as empresas, independentemente do porte e ramo de atuação, resolvem problemas como armazenamento e processamento de dados, análise e visualização.

Os serviços de gestãobases de dados (Bases de Dados Geridas) - desde o início de 2020, o consumo destes serviços na plataforma Yandex.Cloud triplicou e o número de bases de dados criadas pelos utilizadores ultrapassou os 10.000.

  • O que aconteceu antes?

Em nossa plataforma Yandex.A nuvem já estava disponível clicando em quase todas as soluções mais populares do mercado para armazenamento e processamento de dados. Fizemos melhorias significativas em nossos cenários de migração de dados este ano. Para isso, adicionamos dois novos serviços que simplificam a transferência de dados entre quaisquer fontes - Managed Service for Kafka, e uma solução especializada para transferência de dados entre bancos de dados - Data Transfer. No segmento de bancos de dados de uso geral, a nuvem se tornou ainda mais acessível para usuários corporativos com o novo Serviço Gerenciado para SQL Server. O Managed Service for Elastic Search, uma solução popular que oferece suporte à pesquisa de texto completo e cenários analíticos ad hoc, apareceu na família de soluções analíticas.

Alexey Bashkeev, chefe da plataforma Yandex.Cloud

  • O que vem agora?

A partir de 23 de setembro para usuários Yandex.A nuvem agora tem acesso ao novo serviço de Transferência de Dados, que permite transferir dados entre SGBDs sem parar as aplicações, independentemente de onde elas estejam implantadas. A Transferência de dados ajuda você a migrar bancos de dados de forma rápida e segura de outras plataformas em nuvem ou bancos de dados locais para serviços de banco de dados gerenciados Yandex.Cloud. Você também pode usar a Transferência de Dados para mover dados entre diferentes bancos de dados na plataforma e configurar backups.

Além disso, o serviço gerenciado foi lançado.Kafka é um sistema de streaming de dados para sistemas analíticos. O serviço de pesquisa e análise de dados ElasticSearch e um dos sistemas de gerenciamento de banco de dados comerciais mais populares do mundo para trabalhar no ecossistema de produtos Microsoft SQL Server foram adicionados. No total, 9 serviços de banco de dados gerenciado estão agora disponíveis na plataforma Yandex.Cloud, cobrindo a maioria dos cenários de armazenamento e processamento de dados.

Nova seção de mercado com dados para análise de negócios

No Yandex.A nuvem agora tem uma seção chamada "Geolayers", que contém dados de geoinformação anônimos de parceiros de serviço. Eles podem postar seu conteúdo gratuitamente ou por uma taxa. Os clientes Yandex.Cloud irão acessar os dados necessários na interface do serviço, analisá-los usando Yandex DataLens e usá-los para fins comerciais. Por exemplo, os usuários podem avaliar a demanda potencial de produtos ou clientes em potencial para abrir pontos de venda, planejar expansões da cadeia de suprimentos ou planejar campanhas de marketing.

O conteúdo de dois parceiros já está disponível na seção -“Centro de Pesquisa Espacial” em regime comercial e Rosstat em regime gratuito, bem como dois exemplos de geoanalítica da Yandex - “Público: interesses e demografia social” e “Organizações: oferta e demanda”. Com o DataLens, os usuários podem combinar e analisar todas as predefinições de dados para tomar decisões de negócios.

Nós nos esforçamos para oferecer aos parceiros não apenas tecnologia,e ferramentas para monetizar qualquer produto intelectual que possa ser feito ou melhorado usando a nuvem. Separadamente, gostaria de ressaltar que todo o conteúdo da seção "Geolayers" é exclusivamente agregado e anônimo, para o qual é impossível obter detalhes para um dispositivo ou usuário específico.

Oleg Koverznev, Diretor de Operações Yandex.Cloud

Quem atuou como parceiro do Yandex.Cloud?

Analytics é criado em colaboração comRosstat. O acordo de cooperação envolve trabalho conjunto na preparação de pacotes de diversos dados abertos. Estatísticas vitais e outras informações demográficas já estão disponíveis.

Rosstat publica grandesmatrizes de dados disponíveis para qualquer usuário. Graças à cooperação com a Yandex.Cloud, eles ganharão valor adicional para pesquisadores, analistas e empresas. As ferramentas da plataforma permitem combinar fontes, fazer análises rápidas, criar visualização visual e, como resultado, tomar decisões estratégicas rápidas.

Pavel Smelov, Diretor Adjunto da Rosstat

Centro de Pesquisa Espacial fornecidodados de informação geográfica sobre a população, agregados familiares em edifícios novos, bem como índices de potencial de negócio para diversas áreas. Além disso, está disponível gratuitamente um painel para monitorizar o comércio em rede na Federação Russa, que está em funcionamento desde 2015 e contém um índice do desenvolvimento da região do ponto de vista dos intervenientes retalhistas federais.

De acordo com o diretor geral do Center for SpatialA pesquisa, as ferramentas analíticas, os índices e a experiência de Denis Strukov, combinados com os recursos do DataLens, são uma resposta oportuna à solicitação dos mercados B2B e B2C. Isso, disse ele, é uma versão em nuvem da inteligência de localização, que recentemente tem se desenvolvido no exterior e agora na Rússia.

Acesso geral ao mercado Yandex.Nuvem inaugurada em 2019. Esta é uma plataforma onde os clientes da nuvem podem receber acesso direto a aplicativos de negócios de desenvolvedores e editores. Hoje, estão disponíveis 47 aplicações e serviços: desde sistemas operacionais até ferramentas de segurança da informação para análise genética.

Yandex.Cloud abre acesso público a um novo serviço de desenvolvimento baseado em aprendizado de máquina DataSphere

Yandex.A nuvem fornece acesso geral ao serviço para os desenvolvedores de aprendizado de máquina Yandex DataSphere. O serviço ajuda empresas e desenvolvedores individuais a reduzir o custo de criação e operação de modelos de aprendizado de máquina, gerenciar automaticamente a quantidade e o tipo de recursos de computação e reduzir o tempo perdido para criar e organizar um ambiente de desenvolvimento. Yandex DataSphere estará disponível abertamente a partir de 1º de outubro.

Por que isso é relevante?

Gastos globais das empresas com produtos artificiaisA previsão é que a inteligência dobre nos próximos quatro anos, de US $ 50 bilhões em 2020 para US $ 110 bilhões em 2024. No final de 2019, as empresas russas gastaram com IA totalizaram US $ 172 milhões, com uma previsão de crescimento de 30% ao ano. Muitas empresas russas já estão usando ativamente soluções de aprendizado de máquina. Por exemplo, na medicina para criar soluções para análise de imagens, no varejo para o desenvolvimento de sistemas de recomendação.

As técnicas de aprendizado de máquina estão se tornando cada vez maisferramenta de negócios popular em todo o mundo. Mas, para muitas empresas, ainda não está disponível devido ao alto limite de entrada e ao custo dos recursos de computação necessários. Para resolver esses problemas, criamos o DataSphere, onde você pode obter um ambiente de ML pronto com o clique de um botão. Diferentes tipos de recursos de computação estão disponíveis nele - de capacidades clássicas a GPUs e computação distribuída, e o faturamento ocorre apenas para a energia do servidor realmente consumida durante a execução de suas tarefas.

Alexey Bashkeev, chefe Plataformas Yandex.Cloud

O que há de novo no Yandex.Cloud?

  • Tecnologia de computação sem servidor para desenvolvimento de modelos de aprendizado de máquina.

A tecnologia automatiza o gerenciamento de recursos epermite economias significativas. No DataSphere, ao editar e visualizar o código, os recursos de computação da CPU ou GPU não são usados; uma máquina virtual do tipo necessário é conectada apenas durante os cálculos reais (treinamento de modelo, lançamento, outros cálculos).

Como resultado, o usuário paga apenasrecurso de computação realmente consumido. O tempo de edição e revisão do código, o trabalho de uma máquina virtual que não é desligada acidentalmente não é cobrado. De acordo com os testes do DataSphere, que envolveram 200 usuários de diversas áreas, o tempo de inatividade do poder de computação no desenvolvimento do aprendizado de máquina é de 50 a 70%. Ao utilizar o produto, este tempo não será cobrado.

  • Implementou a alternância contínua entre diferentes tipos de recursos de computação.

Isto significa que dentro de um cenário de treinamentoNo modelo, o usuário pode utilizar diferentes tipos de máquinas virtuais – econômicas com processadores convencionais (CPUs) e mais rápidas com GPUs (aceleradores gráficos). O progresso do treinamento do modelo permanecerá o mesmo. Na maioria dos ambientes de desenvolvimento de aprendizado de máquina baseados em nuvem, o modelo de treinamento só pode ser computado em um tipo de máquina.

  • Salve versões de cálculos de modelo, incluindo dados, código e estados.

Essa característica torna o processo de desenvolvimento de machine learning mais rentável para os negócios: o progresso alcançado no treinamento não se perde, pode ser reproduzido se necessário.

Yandex SpeechKit Pro ajudará a tornar os robôs de voz mais inteligentes e humanos

Plataforma Yandex.Cloud introduziu uma especialização do serviço SpeechKit - Yandex SpeechKit Pro. Trata-se de um programa para empresas de desenvolvimento, cujos participantes terão acesso a novas ferramentas para criação de robôs e assistentes de voz focados em atuar em um determinado setor ou empresa.

Esses robôs serão capazes de reconhecer palavras e comandossobre um tópico específico com o mais alto nível de precisão. As novas ferramentas ajudarão a melhorar drasticamente os cenários de serviço nos setores de banco, saúde e entrega. O SpeechKit Pro também permite que você crie recursos individuais de um robô de voz: entonação e forma de comunicação.

Por que isso é relevante?

Em 2020, a síntese e o reconhecimento de fala tornaram-seo serviço de ML mais popular na plataforma Yandex.Cloud. Desde o início do ano, o consumo do SpeechKit cresceu 120%. O número de projetos ativos ultrapassou 500. Na Rússia, já se formou um ecossistema de desenvolvedores e integradores de soluções que, a pedido de empresas de diversas áreas, criam e implementam robôs de voz para auxiliar no processamento de chamadas recebidas e efetuadas, controle de voz sistemas em aplicações e terminais de atendimento ao cliente e soluções de análise de eficiência de comunicações empresariais.

Hoje existem mais de 20 empresas, a maioria delasdos quais são parceiros regulares da plataforma Yandex.Cloud. Segundo os parceiros, nos últimos dois anos, os principais motivos para a introdução de robôs de voz nas empresas russas foram a redução de custos e o rápido dimensionamento de soluções.

Junto com nossos parceiros, passamos por um grandeforma, tendo feito das tecnologias de fala de um serviço exótico uma ferramenta de negócios aplicada em dois anos. Agora estamos dando o próximo passo e abrindo um novo nível de tecnologias de fala Yandex para parceiros. As empresas de desenvolvimento terão acesso aos recursos avançados do SpeechKit e os clientes da solução poderão escolher o fornecedor com a experiência mais adequada.

Alexey Bashkeev, chefe da plataforma Yandex.Cloud

Como a solução se adaptará a diferentes tarefas de negócios?

Junto com o interesse empresarial nas possibilidades da falatecnologias, requisitos de precisão de reconhecimento em cenários específicos de interação entre robôs de voz e humanos também têm crescido, a capacidade de adaptar rapidamente os desenvolvimentos a novas tarefas.

Por exemplo, para uma empresa de transporteé de fundamental importância que o robô não se confunda ao avaliar o significado das frases "Transfira o pedido" ou "Digite o pedido", e para as empresas de telecomunicações - que ele distinga entre as frases "Ativar serviço" e "Desativar serviço" sem erros. A prioridade de um negócio é a precisão em sua área, a capacidade de desenvolver experiência de aplicação em um cenário específico de negócios com base em indicadores objetivos.

Para resolver esses problemas, Yandex.A nuvem fornece aos parceiros ferramentas de desenvolvimento adicionais dentro da especialização SpeechKit Pro. Agora, as empresas parceiras poderão usar marcação de dados de áudio, treinar modelos individuais de reconhecimento de fala usando dados de clientes, monitorar métricas de qualidade de reconhecimento de fala e adaptar modelos de reconhecimento a um fluxo de dados específico.

Especialização O SpeechKit Pro já foi recebido por Neuro.net, Just.ai, Aviation Communication Technologies, Naumen, Robovoice e Voximplant.

Ecossistema de serviço expandido da plataforma Yandex.Cloud com tecnologias de computação sem servidor

Yandex.A nuvem expandiu seu ecossistema de serviços com tecnologias proprietárias de computação sem servidor. Aos quatro serviços anunciados em 2019, mais dois foram adicionados - Yandex API Gateway e Yandex Database em modo Serverless.

O que isso significa?

A computação sem servidor liberta as empresas decustos para resolver problemas de alocação e configuração de infraestrutura em nuvem: máquinas virtuais, servidores de banco de dados em nuvem e aplicativos. Essas tarefas agora são executadas automaticamente na plataforma Yandex.Cloud.

Ao usar tecnologias sem servidorA plataforma computacional detecta automaticamente, por exemplo, um aumento no número de solicitações de usuários ao aplicativo da empresa e aloca os recursos necessários para um funcionamento estável. Assim que a carga na aplicação diminui, a quantidade de energia usada para operá-la diminui. Isso permite que os usuários mudem para um novo princípio de pagamento para nuvens russas - baseado apenas no consumo real de serviços - e obtenham economias significativas.

Yandex.A nuvem é a primeira plataforma de nuvem na Rússia a oferecer um ecossistema de computação sem servidor completo. Coletamos as tecnologias de armazenamento e processamento de dados mais necessárias para resolver problemas urgentes de negócios e as disponibilizamos em modo sem servidor. A computação sem servidor é o próximo estágio da computação em nuvem em todo o mundo. Esta é uma oportunidade de reduzir custos em até 90%, agilizar o tempo de criação e implementação de novas soluções, aumentar a resiliência dos aplicativos em períodos de pico de carga, liberar as empresas da tarefa de escalar o serviço.

Alexey Bashkeev, chefe da plataforma Yandex.Cloud

Como vai funcionar?

O ecossistema de tecnologia sem servidor Yandex.Cloud agora inclui seis serviços: Armazenamento de objetos Yandex-solução escalável universal paraarmazenamento de dados; API Gateway - serviço de criação e gerenciamento de APIs; execução de código na forma de funções - Yandex Cloud Functions; sistema de gerenciamento de banco de dados tolerante a falhas - Yandex Database;uma solução universal escalável para troca de mensagens entre aplicativos - Yandex Message Queue e o serviço de Internet das Coisas Yandex IoT Core.

Para todos os serviços do ecossistema de computação sem servidorDurante o primeiro ano (até outubro de 2021), Yandex.Cloud possui tarifas especiais que permitem aos usuários criar e hospedar seus serviços gratuitamente, não ultrapassando um determinado nível de carga.

Leia também

Na era dos ecossistemas: como os gigantes da TI estão se transformando em interfaces de nossa vida cotidiana

A geleira Doomsday revelou-se mais perigosa do que os cientistas pensavam. Nós contamos o principal

O GitHub substituiu o termo "mestre" por um equivalente neutro