NCCهي مؤسسة ائتمان غير مصرفية تؤدي وظائف غرفة مقاصة ومركزية
التقارير أسهل مع البيانات الكبيرة
يتطلب بنك روسيا جميع المشاركين الماليين— البنوك والمؤسسات المالية، بما في ذلك شركة NCC، تقدم تقارير عن أنشطتها. يقومون بالإبلاغ عن مقدار الأموال الموجودة في الرصيد، وكيفية تحويلها إلى الحسابات الفردية، وعدد المعاملات التي تمت. ويجب إعداد كل هذا وتقديمه إلى البنك المركزي بشكل منتظم. ولتبسيط المهمة، قمنا بتطبيق نظام تلقائي يعتمد على الحلول المقدمة من شركة Neoflex. تخصصت هذه الشركة منذ فترة طويلة في بناء أنظمة التقارير المالية للسلطات التنظيمية.
عندما عملت في Binbank ، كان لدينا أيضًاحلول Neoflex ، ولكن على التقنيات القديمة. كانت قاعدة بيانات أوراكل ، وتمت جميع عمليات المعالجة والإبلاغ عنها. ونفذت NCC حلاً يعتمد على تقنية Hadoop الكبيرة للبيانات ، والتي نستخدمها كنظام تخزين البيانات ومعالجة المعلومات الرئيسي.
قواعد بيانات أوراكل- واحدة من قواعد البيانات الأكثر شعبية في العالم،المستخدمة من قبل قادة سوق تكنولوجيا المعلومات - الفيسبوك، تويتر، يوتيوب. على سبيل المثال، غالبًا ما تكون قواعد بيانات MySQL المستندة إلى حلول Oracle هي قاعدة البيانات المضمنة المفضلة التي يوزعها الآلاف من بائعي البرامج ومصنعي الأجهزة.
قاعدة بيانات Oracle أو Oracle RDBMS- نظام إدارة قواعد البيانات العلائقيةبيانات أوراكل. على مدار أكثر من 40 عامًا، ساعدت Oracle الشركات والحكومات والمؤسسات الأخرى حول العالم في جمع البيانات وتنظيمها واستخدامها.
Hadoopهو مشروع مفتوح المصدر يقعتدار من قبل مؤسسة برمجيات أباتشي. يستخدم Hadoop للحوسبة الموثوقة والقابلة للتطوير والموزعة، ويستخدم أيضًا كمخزن ملفات للأغراض العامة يمكنه استيعاب بيتابايت من البيانات.
نماذج Hadoop و Oracle مختلفة تمامًا. يمكنك بالتأكيد أن تقول إن هذا تطور إضافي. ولكن في الواقع ، هذا الأمر يتجاهل ، لأن جوهر البيانات الكبيرة يختلف عن قواعد البيانات العادية. Hadoop لا يعني المعاملات ، ولكن كنظام تخزين ومعالجة المعلومات - هذا هو الحل الأكثر نجاحا. يتم تخفيض تكاليف الترخيص. قابلية جيدة جدا ، وبالتالي ، عالية الأداء.
incut
تستخدم البنوك المختلفة أشكالًا مختلفة من التقارير ،ولكن هناك الأساسية الكامنة للجميع. على سبيل المثال ، تقدم NCC حوالي 200 نموذج إبلاغ. من هذه ، قمنا في الوقت الحالي بتنفيذ حوالي 20 نموذج تم إنشاؤها باستخدام Hadoop. هناك نظامان لمصادر البيانات. منهم نأخذ بيانات مفصلة للإبلاغ. هذا هو نظام مصرفي الآلي. والثاني هو الطرف المقابل. هذا ليس للبنوك ، لكنه متخصص بالنسبة لنا. بعد ذلك ، يتم تجميع البيانات في Hadoop. أولاً ، يتم ملؤها بالشكل الأصلي ، ثم معالجتها وتنظيفها وإعدادها وتجميعها - ونقلها إلى طبقة منفصلة. يخلق محفظة بيانات كاملة لكل عميل ولكل واجهة. وعلى أساس أوراكل هو بالفعل "التفاف" ، والتي من خلالها نحصل على المعلومات الموجودة بالفعل في النظام نفسه. وعلى أساس هذه البيانات نقوم ببناء تقارير كاملة مناسبة لتقديمها إلى السلطات التنظيمية.
بحيرة البيانات- تخزين مركزي، مما يسمحتخزين كافة البيانات والهياكل. يمكن تخزين البيانات كما هي، باستخدام أنواع مختلفة من التحليلات - بدءًا من لوحات المعلومات والتصور وحتى معالجة البيانات الضخمة والتحليلات في الوقت الفعلي والتعلم الآلي لاتخاذ قرارات أفضل.
"نحن نحلل أيدي المحللين"
أحد أسباب اختيارنا Hadoop هوكان هناك مشروع لتنفيذ Data Lake في مجموعة موسكو للصرافة. المنتج لا يزال شابًا ويتطور باستمرار. لن تقوم الإدارات المالية فقط بتخزين البيانات هناك - المحاسبة، على سبيل المثال، ولكن أيضًا الإدارات الفنية التي ستقوم بمعالجة بياناتها باستخدام مرافق Hadoop - نفس السجلات من الأنظمة المالية. تولد بورصة موسكو كمية كبيرة جدًا من البيانات. ومن أجل معالجة ذلك، لم تعد قواعد البيانات المركزية القياسية (قواعد البيانات المركزية - التقنية العالية) مناسبة. إنهم ببساطة لا يستطيعون التعامل مع هذا التدفق.
حل بحيرة البيانات يبسط هذه المهمة.وزيادة الإنتاجية. الآن لدينا الإبلاغ عن البنك المركزي ، والإبلاغ الضريبي ، سيتم إضافة Rosfinmonitoring هنا. هذا يعني تخزين نوع آخر من البيانات. قد يكون ببساطة بمسح المستندات المطلوبة للضريبة. تخزين الملفات الثنائية في قاعدة البيانات مكلفة للغاية وغير حكيمة. لذلك ، تم اختيار الحل من وجهة نظر البيانات الضخمة.
في المستقبل ، قد يكون لهذا الحل كبيرالمستقبل. لدينا مجموعة من الشركات ، لكل منها مهامها الخاصة لمعالجة بياناتها. ربما سيتم دمجها جميعًا في المستقبل في مجموعة واحدة ، حيث ستتم معالجة جميع المهام داخل المجموعة.
incut
اتجاه آخر هو خفض التكاليف لتخزين البيانات الأرشيفية. تخزينها على Exadata مكلف للغاية. بمجرد ترحيل البيانات إلى قوة Hadoop، ستكون أرخص وأسهل في التحليل وتوفر أداء أفضل للمحللين. في الوقت الحالي، فإنهم مقيدون بحقيقة أن الموارد المخصصة لمهامهم ضيقة جدًا - بسبب الحمل الزائد على النظام الرئيسي.
كيف يمكن أن يؤدي البرنامج القديم إلى التخلف عن السداد المصرفي
في أي بنك، يتم استخدام مشهد البرمجياتالبرمجيات متنوعة للغاية. بدءًا من بعض التطورات الخاصة بنا وانتهاءً بالحلول الصناعية التي تظل بمثابة برامج قديمة لم يعد من الممكن التخلص منها. تم اختياره في الأصل. التحول منه إلى أنظمة أخرى مكلف للغاية. ولهذا السبب، عليك أن تسحبه وتدعمه باستمرار. يتيح لك حلنا التخلص من بعض مشكلات النظام من خلال استخدام التقنيات الجديدة.
على سبيل المثال، قمنا بإعداد التقارير بناءً علىالنظام المصرفي الآلي. ولكن كان لها قيود - الأداء والاستخدام الحصري للموارد عند حساب تقرير واحد. وبناء على ذلك، كان الأداء من حيث حساب شكل واحد مع مرور الوقت منخفضا للغاية. في بعض الأحيان يستغرق نموذج واحد ما يصل إلى ست ساعات أو أكثر.
incut
لا يمكنك الابتعاد عن لحظات كهذه:إن استبدال النظام الآلي في البنك يشبه الكارثة. هناك الكثير من الفروق الدقيقة هنا التي يجب أن تؤخذ بعين الاعتبار. من المستحيل ببساطة الانتقال من برنامج إلى آخر في يوم واحد. في ممارستي، كانت هناك حالة عندما تحول البنك من نظامين أو ثلاثة أنظمة مصرفية آلية موجودة في المناطق إلى نظام واحد، والذي كان بدوره موجودًا في المكتب الرئيسي. استمرت هذه العملية عدة أشهر.
أيضا في NCC - عند تنفيذ هذا المشروعكان هناك الكثير من الناس المتورطين. هؤلاء هم المحللون والمسؤولون الماليون الذين أجروا تحليلًا لنهج معين. بالإضافة إلى ذلك ، شارك عدد كبير من الموظفين التقنيين - من الضروري إعداد البنية التحتية ونشر وإنشاء لوائح الصيانة.
من المؤكد أن البنوك التي تعمل لفترة طويلة لديها برامج قديمة.عملت في أربعة بنوك، كل منهم لديه مثل هذه البرامج. بدءًا من البرامج المكتوبة تحت DOS وانتهاءً بالبرامج الكبيرة التي لم يعد من الممكن رفضها، لأنها مدمجة بقوة في العمليات التجارية. إذا بقيت على الأنظمة القديمة، تنخفض إنتاجية المؤسسة المالية وقدرتها التنافسية، وتزداد المخاطر - إن لم يكن التقصير، فسيتم إلغاء الترخيص.
للبنوك والشركات التي بدأت للتوالتطوير، هناك مجال أكبر لاختيار التقنيات. بما في ذلك شركة NCC، نظرًا لأننا شركة حديثة العهد نسبيًا. البرمجيات المستخدمة في كل مكان تقريبًا حديثة.