Yandex Scale 2020: من سوق البيانات إلى السحب المختلطة

حل لإنشاء سحابة بيانات مختلطة

قدمت شركة Gazprom Neft ومنصة Yandex.Cloud

الحل لإنشاء سحب البيانات الهجينة.وبمساعدتها، ستتمكن المؤسسات الحكومية والشركات الخاصة من تنفيذ تقنيات Yandex.Cloud، حتى لو كانت تخضع لقيود فنية أو تنظيمية على استخدام خدمات تخزين البيانات العامة ومعالجتها.

  • كيف ستعمل؟

يحصل مستخدم حل تكنولوجيا المعلومات على كامل المبلغمجمع أجهزة وبرامج جاهز للاستخدام تم إنشاؤه على أساس معدات وتقنيات Yandex.Cloud. يتم تثبيت المجمع في مركز بيانات العميل ويصبح جزءًا من النظام الأساسي الخاص به للعمل مع البيانات. يتم تنفيذ المزيد من الخدمات - الوقاية والتكوين والتحديث والصيانة الروتينية الأخرى - وفقًا لمعايير Yandex.Cloud.

  • كيف ستعمل أجهزة الشركة مع المنتج الجديد؟

يتكامل منتج تكنولوجيا المعلومات الجديد مع المنتجات المحليةأنظمة تخزين ومعالجة بيانات الشركات والخدمات السحابية العامة. والنتيجة هي سحابة مختلطة تعمل على توسيع قدرات البنية التحتية الرقمية للشركة ، وتسمح لك بوضع معايير أمان أعلى ومراعاة الخصائص الأخرى لمستخدم معين.

أثناء الموافقة ، متخصصون من غازبرومشاركت في تطوير متطلبات الحل المختلط وأصبحت بالفعل شريكًا في تصميم هندستها المعمارية. لذلك ، سيحصل عملاؤنا ليس فقط على أجهزة وبرامج جاهزة تمامًا للاستخدام على أساس تقنيات Yandex.Cloud ، ولكن أيضًا خدمة لدعم المنتج وتحديثه بانتظام ، مع مراعاة تطوير منصتنا العامة.

Oleg Koverznev ، الرئيس التنفيذي للعمليات ، Yandex.Cloud

  • ما هو المخطط التالي؟

زيادة تطوير الشراكة التكنولوجيةبين Gazprom Neft ومنصة Yandex.Cloud ستسمح باختبار حل رقمي جديد في سيناريوهات تشغيل صناعية مختلفة. تدرس شركة غازبروم نفت إمكانية استخدام سحابة هجينة لتطوير مجموعة الحوسبة والتطورات في مجال الذكاء الاصطناعي ، والتي تستخدم للبحث عن احتياطيات نفطية جديدة والتحكم عن بعد في العمليات التكنولوجية لإنتاجها. أيضًا ، يمكن استخدام سعة إضافية لتحسين كفاءة موازنة أعباء العمل على البنية التحتية لتكنولوجيا المعلومات للإنتاج.

كل عام تنتج مصانعنا وحقولنا النفطيةحوالي 5 بيتابايت من البيانات الجديدة. نحن لا نخزن هذه المعلومات فحسب ، بل نتخذ قرارات على أساس يومي بناءً على تحليلها ، ونستخدمها في نمذجة العمليات التكنولوجية وتدريب الشبكات العصبية. تتطلب خصوصية العمل في المناطق النائية من سيبيريا والقطب الشمالي قوة حوسبة كبيرة موزعة ، والتي سيتم تنظيمها من مكان واحد. يؤدي إنشاء سحابة مختلطة إلى حل هذه المشكلة وتوفير أمان المعلومات. سيصبح المنتج خدمة مناسبة للشركات الصناعية وممثلي السوق الآخرين.

أندريه بيليفتسيف، مدير التحول الرقمي في شركة غازبروم نفت

أربع خدمات جديدة لتخزين وإدارة البيانات

فئة خدمات التخزين والإدارةأصبحت البيانات واحدة من أسرع المجالات نموًا في منصة Yandex.Cloud في عام 2020، متجاوزة ديناميكيات نمو خدمات الشركة الرائدة التقليدية - تأجير الأجهزة الافتراضية. بمساعدة خدمات إدارة البيانات السحابية، تقوم الشركات، بغض النظر عن حجمها ومجال نشاطها، بحل مشكلات مثل تخزين البيانات ومعالجتها والتحليلات والتصور.

خدمات إدارةقواعد البيانات (قواعد البيانات المُدارة) - منذ بداية عام 2020 ، تضاعف استهلاك هذه الخدمات على منصة Yandex.Cloud ثلاث مرات ، وتجاوز عدد قواعد البيانات التي أنشأها المستخدمون 10000.

  • ماذا حدث من قبل؟

في منصتنا Yandex.كانت السحابة متاحة بالفعل من خلال النقر على معظم حلول التخزين ومعالجة البيانات الأكثر شيوعًا في السوق. لقد أجرينا تحسينات كبيرة على سيناريوهات ترحيل البيانات الخاصة بنا هذا العام. للقيام بذلك ، أضفنا خدمتين جديدتين تعملان على تبسيط نقل البيانات بين أي مصادر - الخدمة المدارة لكافكا ، وحل متخصص لنقل البيانات بين قواعد البيانات - نقل البيانات. في قطاع قواعد البيانات ذات الأغراض العامة ، أصبح الوصول إلى السحابة أكثر سهولة لمستخدمي Enterprise باستخدام الخدمة المدارة الجديدة لـ SQL Server. ظهرت الخدمة المدارة للبحث المرن ، وهو حل شائع يدعم البحث في النص الكامل وسيناريوهات التحليلات المخصصة ، في مجموعة الحلول التحليلية.

أليكسي باشكيف ، رئيس منصة Yandex.Cloud

  • ماذا سيحدث الآن؟

من 23 سبتمبر لمستخدمي ياندكس.تتمتع السحابة الآن بإمكانية الوصول إلى خدمة نقل البيانات الجديدة، والتي تتيح لك نقل البيانات بين أنظمة إدارة قواعد البيانات (DBMS) دون إيقاف التطبيقات، بغض النظر عن مكان نشرها. يساعدك نقل البيانات على ترحيل قواعد البيانات بسرعة وأمان من الأنظمة الأساسية السحابية الأخرى أو قواعد البيانات المحلية إلى خدمات قواعد البيانات المُدارة بواسطة Yandex.Cloud. يمكنك أيضًا استخدام Data Transfer لنقل البيانات بين قواعد البيانات المختلفة على النظام الأساسي وإعداد النسخ الاحتياطية.

أيضًا ، تم إصدار الخدمة المدارة.كافكا هو نظام لتدفق البيانات إلى الأنظمة التحليلية. تمت إضافة خدمة البحث وتحليل البيانات ElasticSearch وأحد أشهر أنظمة إدارة قواعد البيانات التجارية في العالم للعمل في النظام البيئي لمنتجات Microsoft SQL Server. في المجموع ، تتوفر 9 خدمات قاعدة بيانات مُدارة الآن على منصة Yandex.Cloud ، والتي تغطي معظم السيناريوهات لتخزين البيانات ومعالجتها.

قسم سوق جديد يحتوي على بيانات لتحليلات الأعمال

في Yandex.تحتوي السحابة الآن على قسم يسمى "Geolayers" ، والذي يحتوي على بيانات معلومات جغرافية مجهولة من شركاء الخدمة. يمكنهم نشر المحتوى الخاص بهم مجانًا أو مقابل رسوم. سيقوم عملاء Yandex.Cloud بالوصول إلى البيانات الضرورية في واجهة الخدمة ، وتحليلها باستخدام Yandex DataLens واستخدامها لأغراض العمل. على سبيل المثال ، يمكن للمستخدمين تقييم الطلب المحتمل على المنتجات أو احتمالات فتح منافذ البيع أو التخطيط لتوسيع مناطق التوريد أو حملات التسويق.

المحتوى من شريكين متاح بالفعل في القسم -"مركز البحوث المكانية" على أساس تجاري وRosstat على أساس مجاني، بالإضافة إلى مثالين للتحليلات الجغرافية من ياندكس - "الجمهور: الاهتمامات والتركيبة السكانية الاجتماعية" و"المنظمات: العرض والطلب". باستخدام DataLens، يمكن للمستخدمين دمج وتحليل جميع الإعدادات المسبقة للبيانات لاتخاذ قرارات العمل.

نسعى جاهدين لمنح الشركاء ليس فقط التكنولوجيا ،وأدوات تحقيق الدخل من أي منتج فكري يمكن صنعه أو تحسينه باستخدام السحابة. بشكل منفصل ، أود أن أشير إلى أن جميع محتويات قسم "Geolayers" هي بيانات مجمعة ومجهولة المصدر بشكل حصري ، والتي من المستحيل الحصول على تفاصيل لجهاز أو مستخدم معين.

أوليج كوفرزنيف ، الرئيس التنفيذي للعمليات ياندكس كلاود

من كان بمثابة شريك في Yandex.Cloud؟

يتم إنشاء التحليلات بالتعاون معروستات. وتتضمن اتفاقية التعاون العمل المشترك على إعداد حزم من البيانات المفتوحة المختلفة. الإحصاءات الحيوية والمعلومات الديموغرافية الأخرى متاحة بالفعل.

Rosstat تنشر بشكل كبيرصفائف البيانات المتاحة لأي مستخدم. بفضل التعاون مع Yandex.Cloud ، سيكتسبون قيمة إضافية للباحثين والمحللين والشركات. تتيح لك أدوات النظام الأساسي الجمع بين المصادر وإجراء تحليل سريع وبناء تصورات مرئية ، ونتيجة لذلك ، اتخاذ قرارات استراتيجية سريعة.

بافيل سميلوف ، نائب رئيس Rosstat

مركز البحوث المكانية المقدمةبيانات المعلومات الجغرافية عن السكان والأسر في المباني الجديدة، فضلا عن مؤشرات الأعمال المحتملة لمختلف المناطق. بالإضافة إلى ذلك، تتوفر لوحة معلومات لمراقبة تجارة الشبكة في الاتحاد الروسي مجانًا، والتي تم تشغيلها منذ عام 2015 وتحتوي على مؤشر لتطور المنطقة من وجهة نظر مشغلي التجزئة الفيدراليين.

بحسب مدير عام المركز المكانيتعد أبحاث Denis Strukov وأدوات التحليل والمؤشرات والخبرة ، جنبًا إلى جنب مع قدرات DataLens ، استجابة في الوقت المناسب لطلب أسواق B2B و B2C. هذه ، كما قال ، نسخة سحابية من ذكاء الموقع ، والتي تم تطويرها مؤخرًا في الخارج ، والآن في روسيا.

الوصول العام إلى سوق ياندكس.تم افتتاح السحابة في عام 2019. هذه منصة حيث يمكن لعملاء السحابة الحصول مباشرة على تطبيقات الأعمال من المطورين والناشرين. يتوفر اليوم 47 تطبيقًا وخدمة: بدءًا من أنظمة التشغيل وحتى أدوات أمن المعلومات للتحليل الجيني.

يفتح Yandex.Cloud الوصول العام إلى خدمة جديدة للتطوير بناءً على التعلم الآلي DataSphere

ياندكس.توفر السحابة وصولاً عامًا إلى الخدمة لمطوري التعلم الآلي Yandex DataSphere. تساعد الخدمة الشركات والمطورين الفرديين على تقليل تكلفة إنشاء نماذج التعلم الآلي وتشغيلها ، وإدارة كمية ونوع موارد الحوسبة تلقائيًا ، وتقليل الوقت الضائع لإنشاء وتنظيم بيئة التطوير. سيكون Yandex DataSphere متاحًا بشكل مفتوح اعتبارًا من 1 أكتوبر.

لماذا هذا مناسب؟

إنفاق الشركات العالمي على مصطنعمن المتوقع أن تتضاعف المعلومات الاستخباراتية خلال السنوات الأربع المقبلة من 50 مليار دولار في عام 2020 إلى 110 مليار دولار في عام 2024. في نهاية عام 2019 ، بلغ إنفاق الشركات الروسية على الذكاء الاصطناعي 172 مليون دولار مع توقع نمو بنسبة 30٪ سنويًا. تستخدم العديد من الشركات الروسية بالفعل حلول التعلم الآلي بنشاط. على سبيل المثال ، في الطب لإنشاء حلول لتحليل الصور ، في البيع بالتجزئة لتطوير أنظمة التوصية.

أصبحت تقنيات التعلم الآلي أكثر فأكثرأداة تجارية شهيرة في جميع أنحاء العالم. لكن بالنسبة للعديد من الشركات لا يزال غير متاح بسبب عتبة الدخول العالية وتكلفة موارد الحوسبة المطلوبة. لحل هذه المشكلات ، أنشأنا DataSphere ، حيث يمكنك الحصول على بيئة ML جاهزة بنقرة زر واحدة. تتوفر فيه أنواع مختلفة من موارد الحوسبة - من القدرات الكلاسيكية إلى وحدات معالجة الرسومات والحوسبة الموزعة ، ولا تحدث الفوترة إلا لطاقة الخادم المستهلكة فعليًا أثناء أداء مهامك.

أليكسي باشكيف ، رئيس منصات Yandex.Cloud

ما الجديد في Yandex.Cloud؟

  • تكنولوجيا الحوسبة بدون خادم لتطوير نماذج التعلم الآلي.

تعمل التكنولوجيا على أتمتة إدارة الموارد ويسمح لتحقيق وفورات كبيرة. في DataSphere، عند تحرير التعليمات البرمجية وعرضها، لا يتم استخدام موارد الحوسبة الخاصة بوحدة المعالجة المركزية أو وحدة معالجة الرسومات؛ ويتم توصيل جهاز افتراضي من النوع المطلوب فقط طوال مدة الحسابات الفعلية (تدريب النموذج، والإطلاق، والحسابات الأخرى).

ونتيجة لذلك، يدفع المستخدم فقطموارد الحوسبة المستهلكة في الواقع. الوقت اللازم لتحرير ومراجعة التعليمات البرمجية، لا يتم فرض رسوم على عمل الجهاز الظاهري الذي لم يتم إيقاف تشغيله عن طريق الخطأ. وفقًا لاختبار DataSphere، الذي شارك فيه 200 مستخدم من مجالات مختلفة، فإن وقت توقف قوة الحوسبة عند تطوير التعلم الآلي هو 50-70%. عند استخدام المنتج، لن يتم فرض رسوم على هذه المرة.

  • تم تنفيذ التبديل السلس بين أنواع مختلفة من موارد الحوسبة.

وهذا يعني أنه ضمن سيناريو تدريب واحدالنموذج، يمكن للمستخدم استخدام أنواع مختلفة من الأجهزة الافتراضية - اقتصادية مع المعالجات التقليدية (وحدات المعالجة المركزية) وأسرع مع وحدات معالجة الرسومات (مسرعات الرسومات). سيظل تقدم تدريب النموذج كما هو. في معظم بيئات تطوير التعلم الآلي المستندة إلى السحابة، لا يمكن حساب نموذج التدريب إلا على نوع واحد من الأجهزة.

  • حفظ إصدارات حسابات النموذج، بما في ذلك البيانات والتعليمات البرمجية والحالات.

تجعل هذه الميزة عملية تطوير التعلم الآلي أكثر ربحية للأعمال: لا يتم فقدان التقدم المحرز في التدريب، ويمكن إعادة إنتاجه إذا لزم الأمر.

سيساعد برنامج Yandex SpeechKit Pro في جعل الروبوتات الصوتية أكثر ذكاءً وإنسانية

منصة ياندكس.قدمت Cloud تخصصًا في خدمة SpeechKit - Yandex SpeechKit Pro. هذا برنامج لشركات التطوير، حيث سيتمكن المشاركون من الوصول إلى أدوات جديدة لإنشاء الروبوتات والمساعدين الصوتيين الذين يركزون على العمل في صناعة أو شركة معينة.

ستكون هذه الروبوتات قادرة على التعرف على الكلمات والأوامرحول موضوع معين بأعلى مستوى من الدقة. ستساعد الأدوات الجديدة بشكل كبير في تحسين سيناريوهات الخدمة في قطاعات البنك والرعاية الصحية والتوصيل. يتيح لك SpeechKit Pro أيضًا إنشاء ميزات فردية لروبوت صوتي: التجويد وطريقة الاتصال.

لماذا هذا مناسب؟

بحلول عام 2020، أصبح تركيب الكلام والتعرف عليهخدمة ML الأكثر شعبية على منصة Yandex.Cloud. منذ بداية العام، زاد استهلاك SpeechKit بنسبة 120%. لقد تجاوز عدد المشاريع النشطة 500 مشروع. في روسيا، تم بالفعل تشكيل نظام بيئي من المطورين وتكامل الحلول، الذين يقومون، بناءً على طلب الشركات من مختلف المجالات، بإنشاء وتنفيذ الروبوتات الصوتية للمساعدة في معالجة المكالمات الواردة والصادرة والتحكم الصوتي الأنظمة في التطبيقات ومحطات خدمة العملاء، وحلول تحليل كفاءة الاتصالات التجارية.

اليوم هناك أكثر من 20 شركة، معظمهامنهم شركاء منتظمون لمنصة Yandex.Cloud. وفقًا للشركاء، على مدار العامين الماضيين، كانت الدوافع الرئيسية لإدخال الروبوتات الصوتية في الشركات الروسية هي خفض التكاليف وتوسيع نطاق الحلول بسرعة.

جنبا إلى جنب مع شركائنا ، مررنا بملفالطريقة ، بعد أن جعلت من تقنيات الكلام من خدمة غريبة أداة عمل تطبيقية في غضون عامين. نحن الآن نتخذ الخطوة التالية ونفتح مستوى جديدًا من تقنيات الكلام من Yandex للشركاء. ستتمتع شركات التطوير بإمكانية الوصول إلى الميزات المتقدمة لـ SpeechKit ، وسيتمكن عملاء الحلول من اختيار المورد ذي الخبرة الأنسب.

أليكسي باشكيف ، رئيس منصة Yandex.Cloud

كيف سيتكيف الحل مع مهام العمل المختلفة؟

جنبا إلى جنب مع مصلحة الأعمال في إمكانيات الكلامكما نمت التقنيات ومتطلبات دقة التعرف في سيناريوهات محددة للتفاعل بين الروبوتات الصوتية والبشر ، والقدرة على التكيف السريع للتطورات للمهام الجديدة.

على سبيل المثال ، لشركة شحنمن المهم بشكل أساسي ألا يتم الخلط بين الروبوت في تقييم معنى عبارات "نقل الطلب" أو "أدخل الطلب" ، وبالنسبة لشركات الاتصالات - أن يميز بين عبارات "تمكين الخدمة" و "تعطيل الخدمة" دون أخطاء. أولوية الأعمال هي الدقة في مجالها ، والقدرة على تطوير تجربة التطبيق في سيناريو عمل محدد بناءً على مؤشرات موضوعية.

لحل هذه المشاكل، ياندكس.توفر السحابة للشركاء أدوات تطوير إضافية ضمن تخصص SpeechKit Pro. الآن ستتمكن الشركات الشريكة من استخدام علامات البيانات الصوتية، وتدريب نماذج التعرف على الكلام الفردية باستخدام بيانات العملاء، ومراقبة مقاييس جودة التعرف على الكلام، وتكييف نماذج التعرف على تدفق بيانات محدد.

تخصص تم استلام SpeechKit Pro بالفعل من قبل Neuro.net و Just.ai و Aviation Communication Technologies و Naumen و Robovoice و Voximplant.

قامت منصة Yandex.Cloud بتوسيع النظام الإيكولوجي للخدمة باستخدام تقنيات الحوسبة بدون خادم

ياندكس.قامت السحابة بتوسيع نظام خدماتها من خلال تقنيات الحوسبة بدون خادم. إلى الخدمات الأربع التي تم الإعلان عنها في عام 2019 ، تمت إضافة خدمتين أخريين - بوابة Yandex API وقاعدة بيانات Yandex في وضع Serverless.

ماذا يعني هذا؟

الحوسبة بدون خادم تحرر الشركات منتكاليف حل مشكلات تخصيص وتكوين البنية التحتية السحابية: الأجهزة الافتراضية وخوادم وتطبيقات قواعد البيانات السحابية. يتم الآن تنفيذ هذه المهام تلقائيًا على جانب منصة Yandex.Cloud.

عند استخدام التقنيات بدون خادمتكتشف منصة الحوسبة تلقائيًا، على سبيل المثال، الزيادة في عدد طلبات المستخدمين لتطبيق الشركة وتخصيص الموارد اللازمة للتشغيل المستقر. بمجرد انخفاض الحمل على التطبيق، تقل كمية الطاقة المستخدمة لتشغيله. ويتيح ذلك للمستخدمين التحول إلى مبدأ دفع جديد للسحابة الروسية - يعتمد فقط على الاستهلاك الفعلي للخدمات - وتحقيق وفورات كبيرة.

ياندكس.Cloud هي أول منصة سحابية في روسيا تقدم نظامًا بيئيًا كاملًا للحوسبة بدون خادم. لقد جمعنا أكثر تقنيات تخزين البيانات ومعالجتها الضرورية لحل مشاكل العمل الملحة وجعلناها متاحة في وضع عدم الاتصال بالخادم. الحوسبة بدون خادم هي المرحلة التالية في الحوسبة السحابية حول العالم. هذه فرصة لخفض التكاليف بنسبة تصل إلى 90٪ ، وتسريع الوقت لإنشاء وتنفيذ حلول جديدة ، وزيادة مرونة التطبيقات خلال فترات ذروة الأحمال ، وإخلاء الشركات من مهام توسيع نطاق الخدمة.

أليكسي باشكيف ، رئيس منصة Yandex.Cloud

كيف ستعمل؟

يشتمل نظام Yandex.Cloud للتكنولوجيا بدون خادم الآن على ست خدمات: Yandex Object Storageحل عالمي قابل للتطوير لـمخزن البيانات؛ بوابة API - خدمة لإنشاء وإدارة واجهات برمجة التطبيقات؛ تشغيل التعليمات البرمجية في شكل وظائف - Yandex Cloud Functions؛ نظام إدارة قاعدة البيانات المتسامح مع الأخطاء - قاعدة بيانات ياندكس.حل عالمي قابل للتطوير لتبادل الرسائل بين التطبيقات - Yandex message Queue وخدمة إنترنت الأشياء Yandex IoT Core.

لجميع خدمات النظام البيئي للحوسبة بدون خادمخلال السنة الأولى (حتى أكتوبر 2021)، تتمتع Yandex.Cloud بتعريفات خاصة تتيح للمستخدمين إنشاء خدماتهم واستضافتها مجانًا، بما لا يتجاوز مستوى تحميل معين.

اقرأ أيضا

في عصر النظم البيئية: كيف يتحول عمالقة تكنولوجيا المعلومات إلى واجهات في حياتنا اليومية

تبين أن نهر Doomsday الجليدي أكثر خطورة مما اعتقد العلماء. نقول الشيء الرئيسي

استبدل GitHub مصطلح "رئيسي" بمكافئ محايد