البحيرات والواجهات والتخزين
تخيل أن الشركة لديها إمكانية الوصول إلى معلومات لا تنضب
تم تقديم مصطلح بحيرة البيانات نفسه بواسطة جيمس ديكسون ،مؤسس منصة Pentaho. قارن متاجر البيانات ببحيرات البيانات: فالأولى تشبه المياه المعبأة في زجاجات التي تمت تنقيتها وتصفيتها وتعبئتها. البحيرات عبارة عن مسطحات مائية مفتوحة تتدفق إليها المياه من مصادر مختلفة. يمكنك الغوص فيها ، أو يمكنك أخذ عينات من السطح. هناك أيضًا مخازن بيانات تؤدي مهامًا محددة وتخدم اهتمامات محددة. من ناحية أخرى ، يمكن أن تفيد عمليات إعادة الشراء في منطقة ليكسايد العديد من اللاعبين إذا تم استخدامها بحكمة.
يبدو أن تدفق المعلومات يعقد فقطработу аналитикам, ведь сведения не структурированы, к тому же их слишком много. Но если компания умеет работать с данными и извлекать из них пользу, озеро не превращается в «болото».
استخراج البيانات من "القبو"
ومع ذلك ، ما هي فوائد بحيرات البيانات؟الشركات؟ ميزتهم الرئيسية هي الوفرة. يتلقى المستودع معلومات من فرق وإدارات مختلفة ، والتي لا ترتبط عادةً ببعضها البعض. خذ مدرسة عبر الإنترنت على سبيل المثال. تحتفظ الأقسام المختلفة بإحصاءاتها وتسعى لتحقيق أهدافها الخاصة - يراقب فريق واحد مقاييس الاحتفاظ بالمستخدمين ، ويدرس الثاني رحلة العميل للعملاء الجدد ، ويجمع الثالث معلومات عن الخريجين. لا أحد لديه حق الوصول إلى الصورة الكاملة. لكن إذا قمت بتجميع معلومات متباينة في مستودع واحد ، يمكنك العثور على أنماط مثيرة للاهتمام. على سبيل المثال ، اتضح أن المستخدمين الذين يأتون إلى تصميم دورات تدريبية وشاهدوا اثنين على الأقل من الندوات عبر الإنترنت هم أكثر عرضة للوصول إلى نهاية البرنامج وبناء حياة مهنية ناجحة في السوق. ستساعد هذه المعلومات الشركة في الاحتفاظ بالطلاب وإنشاء منتج أكثر إقناعًا.
في كثير من الأحيان ، يتم اكتشاف أنماط غير متوقعة عن طريق الصدفة - على سبيل المثال ، تساعد بحيرة البياناتيمكن لمحللي البيانات "عبور" تدفقات مختلفة من المعلومات بشكل تجريبي والعثور على أوجه تشابه من غير المحتمل أن يجدوها بطريقة أخرى.
يمكن أن تكون مصادر البيانات أيًا:ستحصل المدرسة عبر الإنترنت على إحصائيات من قنوات ترويج مختلفة ، وسيكون لدى المصنع مؤشرات استشعار إنترنت الأشياء ، وجدول استخدام أداة الآلة ومعدلات تآكل المعدات ، وسيكون لدى السوق معلومات حول توفر السلع في المخزون ، وإحصائيات المبيعات وبيانات حول طرق الدفع الأكثر شيوعًا. تساعد البحيرات فقط في جمع مصفوفات المعلومات ودراستها ، والتي عادة لا تتقاطع بأي شكل من الأشكال وتلفت انتباه الإدارات المختلفة.
ميزة أخرى لبحيرات البيانات هي استخراج البياناتمن مستودعات متباينة وأنظمة فرعية مغلقة. غالبًا ما يتم تخزين المعلومات في نوع من "مخبأ" المعلومات ، والذي يمتلك الوصول إليه قسم واحد فقط. من الصعب أو المستحيل نقل المواد منه - هناك قيود كثيرة جدًا. البحيرات تحل هذه المشكلة.
إذن ، هناك ثماني مزايا على الأقل لبحيرات البيانات:
- مساعدة محللي البيانات في الحصول على رؤى قيمة.
- يسمح للشركة باتخاذ قرارات سريعة بناءً على الإحصائيات والحقائق.
- يسمح لك بتجربة أنواع مختلفة من البيانات من مصادر مختلفة.
- اجعل عملية التحليلات أكثر ديمقراطية وأزل الحواجز بين الأقسام.
- توفير مستوى عالٍ من مركزية البيانات ودقتها - يتيح لك ذلك العثور على "إبرة في كومة قش".
- مناسبة للشركات من جميع الأحجام - في مرحلة مبكرة ، يمكنك البدء ببحيرات صغيرة وبناء الأحجام تدريجيًا.
- فهي تبسط العمليات التجارية - على سبيل المثال ، تسمح لك بإجراء استعلامات عبر المجالات وإنشاء تقارير معقدة عن المنتجات.
- إنها أرخص من التخزين لأن البيانات لا تحتاج إلى معالجة مسبقة.
هناك حاجة إلى البحيرات في المقام الأول من قبل فرق موزعة ومتفرعة.فعلى سبيل المثال، كانت المعاملات المالية وحدها تخزن في 25 قاعدة بيانات مختلفة، تم ترتيبها وتنظيمها بطرق مختلفة.أدى ذلك إلى حدوث ارتباك وإزعاج ، وساعدت البحيرة في جمع كل المواد في مكان واحد وتثبيت نظام موحد لحماية البيانات.الآن ، يمكن لمحللي البيانات والأعمال والمطورين والمديرين التنفيذيين أخذ المكونات التي يحتاجون إليها ومعالجتها باستخدام أدوات وتقنيات مختلفة.وقد ساعد التعلم الآلي محللي أمازون على إجراء تنبؤات فائقة الدقة - فهم يعرفون الآن عدد الصناديق ذات الحجم المعين التي ستكون مطلوبة للحزم في تكساس في نوفمبر.
أربع خطوات لبحيرات البيانات
لكن بحيرات البيانات أيضًا لها عيوب.بادئ ذي بدء ، فهي تتطلب موارد إضافية ومستوى عالٍ من الخبرة - فقط المحللين المؤهلين تأهيلاً عالياً يمكنهم الاستفادة منها حقًا. ستحتاج أيضًا إلى أدوات ذكاء أعمال إضافية للمساعدة في تحويل رؤيتك إلى إستراتيجية متماسكة.
مشكلة أخرى هي استخدام طرف ثالثأنظمة لصيانة بحيرات البيانات. في هذه الحالة ، تعتمد الشركة على المزود. في حالة تعطل النظام أو حدوث تسرب للبيانات ، فقد يؤدي ذلك إلى خسائر مالية كبيرة. ومع ذلك ، فإن المشكلة الرئيسية للبحيرات هي الضجيج حول التكنولوجيا. في كثير من الأحيان ، تتبنى الشركات هذا التنسيق بعد الموضة ، لكن لا تعرف سبب حاجتها إليه حقًا. ونتيجة لذلك ، فإنهم ينفقون مبالغ كبيرة من المال ، لكنهم لا يحققون المردود. لذلك ، ينصح الخبراء ، حتى في مرحلة التحضير للإطلاق ، بتحديد المهام التجارية التي ستحلها البحيرات.
يحدد خبراء ماكنزي أربع مراحل لإنشاء بحيرات البيانات:
- إنشاء منصة لجمع البيانات الأولية. في هذه المرحلة ، من المهم معرفة كيفية استرداد المعلومات وتخزينها.
- تطوير المنصة والتجارب الأولى. بدأ محللو البيانات بالفعل في تحليل البيانات وبناء نماذج أولية تحليلية.
- تكامل محكم مع تخزين البيانات. في هذه المرحلة ، يتدفق المزيد والمزيد من مجموعات البيانات إلى البحيرات ، ويتم تبسيط عملية الملاحة.
- بحيرة البيانات تصبح المفتاحهندسة معمارية. يتم تطوير سيناريوهات تطبيق جديدة ، وتظهر الوظائف الإضافية والخدمات الجديدة بواجهة سهلة الاستخدام ، وتبدأ الشركة في استخدام نموذج أعمال البيانات كخدمة.
الخوارزميات التحليلية
لا يوجد شيء جديد بشكل أساسي في تراكم البيانات نفسه ، ولكن بفضل تطوير الأنظمة السحابية والمنصات مفتوحة المصدر وزيادة قوة الحوسبة بشكل عام ، من الممكن العمل مع بنية البحيرة اليومحتى الشركات الناشئة.
محرك آخر للصناعة هو التعلم الآلي - التكنولوجيا تجعل من السهلعمل المحللين ومنحهم المزيد من الأدوات للمعالجة اللاحقة.سيكون الغرق في عدد الملفات والملخصات والجداول الآن يمكن"إطعامهم" إلى الخوارزمية وبناء نموذج تحليلي بشكل أسرع.
لا يساعد استخدام بحيرات البيانات جنبا إلى جنب مع الذكاء الاصطناعي في تحليل الإحصاءات مركزيا فحسب ، بل يساعد أيضا في تتبع الاتجاهات عبر تاريخ الشركة.على سبيل المثال ، جمعت إحدى الكليات الأمريكية معلومات حول المتقدمين على مدار ال 60 عاما الماضية.تم أخذ البيانات المتعلقة بعدد الطلاب الجدد في الاعتبار ، وكذلك مؤشرات التوظيف والوضع الاقتصادي العام في البلاد.نتيجة لذلك ، قامت الجامعة بتعديل البرنامج بحيث ينهي الطلاب دراستهم بدلا من التسرب في منتصف الطريق.
ما هي مهام العمل الأخرى التي يمكن أن تحلها بحيرات البيانات:
- تخصيص الموارد بكفاءة لتجنب نفاد المخزون خلال فترات ذروة الطلب.
- بناء توقعات أكثر دقة وتوقع الاتجاهات ، وإطلاق منتجات مبتكرة قبل المنافسين.
- قسّم جمهورك وحدد اهتمامات حتى المجموعات الأكثر تخصصًا.
- أنشئ تقارير أكثر تفصيلاً ودقة من شأنها أن تساعد في تحسين المقاييس وزيادة الإنتاجية.
- تخصيص خوارزميات الترويج وأنظمة التوصية بشكل أكثر كفاءة.
- وفر الموارد في الإنتاج أو في المختبر - حتى لو كان هيكلًا معقدًا مثل CERN.
ومع ذلك، لا تستخدم البحيرات فقط في بيئات الأعمال - على سبيل المثال، في بداية الجائحة، جمعت AWS معلومات حول COVID-19 في مستودع واحد: بيانات البحث والمقالات والملخصات الإحصائية.تم تحديث المعلومات بانتظام ، وتم توفير الوصول إليها مجانا - كان عليك فقط الدفع مقابل أدوات التحليل.
لا يمكن اعتبار بحيرات البيانات عالميةالأداة والحل الشافي ، ولكن في عصر تعتبر فيه البيانات النفط الجديد ، من المهم أن تبحث الشركات عن طرق مختلفة للبحث وتطبيق البيانات الضخمة. المهمة الرئيسية هي مركزية وتوحيد المعلومات المتباينة. في عصر الخدمات المصغرة والفرق الموزعة ، غالبًا ما تنشأ المواقف حيث لا يعرف قسم ما ما الذي يعمل عليه الآخر. وبسبب هذا ، فإن العمل يهدر الموارد ، ويؤدي المتخصصون المختلفون نفس المهام ، غالبًا غير مدركين لها. هذا يقلل في النهاية من الكفاءة ويزيد من "نظام تشغيل" الشركة. تظهر الاستطلاعات أن معظم الشركات تستثمر في بحيرات البيانات من أجل تحسين الكفاءة التشغيلية. لكن النتائج فاقت التوقعات: لقد حقق المستخدمون الأوائل للتكنولوجيا زيادة في الإيرادات والأرباح بشكل أسرع من أولئك الذين يتخلفون عن الركب ، والأهم من ذلك أنهم يجلبون منتجات وخدمات جديدة إلى السوق بشكل أسرع.
انظر أيضا:
كشفت وزارة الصحة الأرجنتينية عن معطيات حول الآثار الجانبية لمن تلقوا "سبوتنيك الخامس"
تبين أن خلد الماء هو مزيج وراثي من الثدييات والطيور والزواحف
الإجهاض والعلم: ماذا سيحدث للأطفال الذين سينجبون