رسلان سابيتوف ، المركز الوطني للمقاصة - حول البيانات الضخمة في مجال البنوك والمشاكل المتعلقة بالبرمجيات القديمة

NCC - منظمة ائتمانية غير مصرفية تؤدي وظائف منظمة المقاصة والمركزية

الطرف المقابل في أسواق بورصة موسكو .. بصفتها الطرف المقابل المركزي ، تتحمل NCC مخاطر المعاملات التي أبرمها المشاركون خلال تداول العملات ، حيث تعمل كوسيط بين الطرفين. تتمثل الوظيفة الرئيسية والرئيسية لشركة NCC في ضمان الاستقرار في القطاعات المخدومة في السوق المالية من خلال تطبيق نظام حديث لإدارة المخاطر يفي بالمعايير الدولية.

التقارير أسهل مع البيانات الكبيرة

بنك روسيا يتطلب جميع المشاركين الماليين- البنوك والمؤسسات المالية ، بما في ذلك NCC ، للإبلاغ عن أنشطتها. يبلغون عن مقدار الأموال الموجودة في الميزانية ، وكيف يتحول إلى حسابات منفصلة ، وعدد المعاملات التي مرت. يجب إعداد كل هذا وتقديمه إلى البنك المركزي بشكل منتظم. لتبسيط المهمة ، قمنا بتطبيق نظام أوتوماتيكي يعتمد على حلول من شركة Neoflex. لطالما تخصصت هذه الشركة في بناء أنظمة التقارير المالية للمنظمين.

عندما عملت في Binbank ، كان لدينا أيضًاحلول Neoflex ، ولكن على التقنيات القديمة. كانت قاعدة بيانات أوراكل ، وتمت جميع عمليات المعالجة والإبلاغ عنها. ونفذت NCC حلاً يعتمد على تقنية Hadoop الكبيرة للبيانات ، والتي نستخدمها كنظام تخزين البيانات ومعالجة المعلومات الرئيسي.

قواعد بيانات أوراكل - واحدة من القواعد الأكثر شعبية في العالم ،يستخدمه رواد سوق تقنية المعلومات - Facebook و Twitter و YouTube. على سبيل المثال ، غالبًا ما يتم اختيار حلول قاعدة بيانات MySQL القائمة على حلول أوراكل كقاعدة بيانات مدمجة يوزعها الآلاف من بائعي البرامج ومصنعي الأجهزة.

قاعدة بيانات Oracle أو Oracle RDBMS - نظام إدارة قاعدة بيانات الكائناتأوراكل البيانات. لأكثر من 40 عامًا ، ساعدت Oracle الشركات والحكومات والمؤسسات الأخرى من جميع أنحاء العالم في جمع البيانات وتنظيمها واستخدامها.

Hadoop - مشروع مفتوح المصدر يقعتشغيل مؤسسة Apache Software Foundation. يستخدم Hadoop في الحوسبة الموثوقة والقابلة للتوزيع والموزعة ، كما يستخدم أيضًا كملف تخزين للأغراض العامة يمكنه استيعاب بايتات من البيانات.

نماذج Hadoop و Oracle مختلفة تمامًا. يمكنك بالتأكيد أن تقول إن هذا تطور إضافي. ولكن في الواقع ، هذا الأمر يتجاهل ، لأن جوهر البيانات الكبيرة يختلف عن قواعد البيانات العادية. Hadoop لا يعني المعاملات ، ولكن كنظام تخزين ومعالجة المعلومات - هذا هو الحل الأكثر نجاحا. يتم تخفيض تكاليف الترخيص. قابلية جيدة جدا ، وبالتالي ، عالية الأداء.

incut

تستخدم البنوك المختلفة أشكالًا مختلفة من التقارير ،ولكن هناك الأساسية الكامنة للجميع. على سبيل المثال ، تقدم NCC حوالي 200 نموذج إبلاغ. من هذه ، قمنا في الوقت الحالي بتنفيذ حوالي 20 نموذج تم إنشاؤها باستخدام Hadoop. هناك نظامان لمصادر البيانات. منهم نأخذ بيانات مفصلة للإبلاغ. هذا هو نظام مصرفي الآلي. والثاني هو الطرف المقابل. هذا ليس للبنوك ، لكنه متخصص بالنسبة لنا. بعد ذلك ، يتم تجميع البيانات في Hadoop. أولاً ، يتم ملؤها بالشكل الأصلي ، ثم معالجتها وتنظيفها وإعدادها وتجميعها - ونقلها إلى طبقة منفصلة. يخلق محفظة بيانات كاملة لكل عميل ولكل واجهة. وعلى أساس أوراكل هو بالفعل "التفاف" ، والتي من خلالها نحصل على المعلومات الموجودة بالفعل في النظام نفسه. وعلى أساس هذه البيانات نقوم ببناء تقارير كاملة مناسبة لتقديمها إلى السلطات التنظيمية.

بحيرة البيانات - تخزين مركزي ، مما يسمح بالتخزينجميع البيانات والهياكل. يمكن تخزين البيانات مباشرة كما هي ، مع أنواع مختلفة من التحليلات - من لوحات المعلومات والتصور إلى وضع معالجة البيانات الضخمة والتحليلات في الوقت الفعلي والتعلم الآلي من أجل اتخاذ قرارات أفضل.

"نحن نحلل أيدي المحللين"

أحد الأسباب وراء اختيارنا Hadoop ،كان هناك مشروع لإدخال بحيرة البيانات في مجموعة بورصة موسكو. المنتج لا يزال شابا ، تتطور باستمرار. لن تقوم الإدارات المالية فقط بإضافة البيانات إليها - المحاسبة ، على سبيل المثال ، ولكن أيضًا الإدارات الفنية التي ستقوم بمعالجة بياناتها على تسهيلات Hadoop - نفس السجلات من النظم المالية. في بورصة موسكو ولدت كمية كبيرة جدا من البيانات. لمعالجة هذه المشكلة ، لم تعد CDBs القياسية (قواعد البيانات المركزية - "التكنولوجيا الفائقة") مناسبة. انهم فقط لا يمكن التعامل مع هذا الدفق.

حل بحيرة البيانات يبسط هذه المهمة.وزيادة الإنتاجية. الآن لدينا الإبلاغ عن البنك المركزي ، والإبلاغ الضريبي ، سيتم إضافة Rosfinmonitoring هنا. هذا يعني تخزين نوع آخر من البيانات. قد يكون ببساطة بمسح المستندات المطلوبة للضريبة. تخزين الملفات الثنائية في قاعدة البيانات مكلفة للغاية وغير حكيمة. لذلك ، تم اختيار الحل من وجهة نظر البيانات الضخمة.

في المستقبل ، قد يكون لهذا الحل كبيرالمستقبل. لدينا مجموعة من الشركات ، لكل منها مهامها الخاصة لمعالجة بياناتها. ربما سيتم دمجها جميعًا في المستقبل في مجموعة واحدة ، حيث ستتم معالجة جميع المهام داخل المجموعة.

incut

اتجاه آخر - خفض التكاليفتخزين البيانات الأرشيفية. الاحتفاظ بها على Exadata مكلفة للغاية. بعد نقل البيانات إلى طاقة Hadoop ، سيكون الأمر أرخص ، وسيكون التحليل أسهل ، وسيكون الأداء العالي متاحًا للمحللين. في الوقت الحالي ، تكون محدودة بسبب أن الموارد المخصصة لمهامهم ضيقة إلى حد ما - بسبب الحمل الزائد على النظام الرئيسي.

كيف يمكن أن يؤدي البرنامج القديم إلى التخلف عن السداد المصرفي

في أي بنك المشهد المستخدم البرمجياتالحكم متنوع للغاية. بدءًا من بعض التطويرات الخاصة بهم وانتهاءً بالحلول الصناعية ، والبقاء كبرامج قديمة ، والتي لا يمكنك التخلص منها. تم اختياره في الأصل. التحول منه إلى أنظمة أخرى مكلف للغاية. في ضوء ذلك ، يتعين على المرء أن يسحبه باستمرار. يتيح لك حلنا التخلص من بعض قروح الأنظمة من خلال استخدام التقنيات الجديدة.

على سبيل المثال ، قمنا بإعداد تقارير بناءً علىالنظام المصرفي الآلي. لكنها كانت تعاني من قيود - الأداء والاستخدام الحصري للموارد عند حساب تقرير واحد. وفقًا لذلك ، كان الأداء من حيث حساب نموذج واحد بمرور الوقت منخفضًا للغاية. في بعض الأحيان لدينا نموذج واحد استغرق ما يصل إلى ست ساعات أو أكثر.

incut

من هذه اللحظات فقط لا يمكن الهروب: إن استبدال النظام الآلي في البنك يشبه الكارثة. هناك الكثير من الفروق الدقيقة التي يجب مراعاتها. لمجرد أنه من المستحيل في يوم واحد الانتقال من برنامج إلى آخر. في ممارستي ، كانت هناك حالة عندما تحول البنك من نظامين أو ثلاثة أنظمة مصرفية آلية ، كانت موجودة في المناطق ، إلى نظام واحد ، والذي كان بدوره يقع في المكتب الرئيسي. استمرت هذه العملية عدة أشهر.

أيضا في NCC - عند تنفيذ هذا المشروعكان هناك الكثير من الناس المتورطين. هؤلاء هم المحللون والمسؤولون الماليون الذين أجروا تحليلًا لنهج معين. بالإضافة إلى ذلك ، شارك عدد كبير من الموظفين التقنيين - من الضروري إعداد البنية التحتية ونشر وإنشاء لوائح الصيانة.

البنوك التي كانت تعمل لفترة طويلة ، بالتأكيد لديها برامج قديمة. عملت في أربعة بنوك ، في كل مكان كان هناك مثل هذه البرامج. البدء ببرنامج مكتوب تحت DOS وتنتهي ببرامج كبيرة ، لم يعد من الممكن التخلي عنها ، نظرًا لأنها مدمجة كثيرًا في العمليات التجارية. إذا بقيت على الأنظمة القديمة ، وتناقص أداء المؤسسة المالية وقدرتها التنافسية ، فستزداد المخاطر - إن لم يكن التقصير ، فإن سحب الرخصة.

البنوك والشركات بدأت للتوالتنمية ، هناك مجال أكبر لاختيار التكنولوجيا. بما في ذلك NCC ، لأننا شركة صغيرة نسبيا. يستخدم البرنامج في كل مكان تقريبا الحديثة.