Ruslan Sabitov, Centre national de compensation - sur le Big Data dans le secteur bancaire et les problèmes liés aux logiciels hérités

CCN - organisme de crédit non bancaire qui assume les fonctions d'organisme de compensation et de

contrepartie sur les marchés de la bourse de Moscou. En tant que contrepartie centrale, NCC assume les risques des transactions conclues par les participants lors de transactions boursières, agissant en tant qu'intermédiaire entre les parties. La principale fonction de NCC est d’assurer la stabilité des segments du marché financier qui font l’objet de services en mettant en œuvre un système de gestion des risques moderne et conforme aux normes internationales.

La création de rapports est plus facile avec le Big Data

La Banque de Russie exige de tous les participants financiers- les banques et les organismes financiers, y compris NCC, à rendre compte de leurs activités. Ils déclarent combien d’argent figure au bilan, comment il se trouve dans des comptes séparés, combien de transactions ont été passées. Tout cela devrait être préparé et fourni régulièrement à la Banque centrale. Pour simplifier la tâche, nous avons mis en place un système automatique basé sur les solutions de Neoflex. Cette société est depuis longtemps spécialisée dans la création de systèmes de reporting financier pour les régulateurs.

Quand j'ai travaillé chez Binbank, nous avions aussiLes solutions Neoflex, mais sur des technologies plus anciennes. Il s’agissait d’une base de données Oracle sur laquelle tous les traitements et rapports étaient établis. Et NCC a mis en œuvre une solution basée sur la technologie Big Data-Hadoop, que nous utilisons comme système principal de stockage de données et de traitement de l'information.

Bases de données Oracle - une des bases les plus populaires au monde,utilisé par les leaders du marché informatique - Facebook, Twitter, YouTube. Par exemple, les solutions de base de données MySQL basées sur les solutions Oracle sont souvent choisies comme base de données intégrée distribuée par des milliers de fournisseurs de logiciels et de fabricants de matériel.

Base de données Oracle ou Oracle SGBDR - système de gestion de base de données relationnelle objetDonnées Oracle. Depuis plus de 40 ans, Oracle aide les entreprises, les gouvernements et d’autres organisations du monde entier à recueillir, organiser et utiliser des données.

Hadoop - un projet open source situéexécuter Apache Software Foundation. Hadoop est utilisé pour l'informatique distribuée fiable, évolutive et évolutive, ainsi que comme stockage de fichiers polyvalent pouvant accueillir des pétaoctets de données.

Les paradigmes de Hadoop et Oracle sont complètement différents. Vous pouvez bien sûr dire que ceci est un développement ultérieur. Mais en fait, cela va de côté, parce que l'essence du Big Data est différente des bases de données ordinaires. Hadoop n'implique pas de transaction, mais en tant que référentiel et système de traitement de l'information - c'est la solution la plus efficace. Les coûts de licence sont réduits. Très bonne évolutivité et, par conséquent, hautes performances.

Barre latérale

Différentes banques utilisent différentes formes de reporting,mais il y a des bases, inhérentes à tous. Par exemple, la CCN soumet environ 200 formulaires de rapport. Parmi ceux-ci, nous avons mis en place à l'heure actuelle une vingtaine de formulaires créés à l'aide de Hadoop. Il existe deux systèmes de sources de données. À partir d’eux, nous recueillons des données détaillées pour les rapports. Ceci est un système bancaire automatisé. La seconde est la contrepartie centrale. Ce n'est pas pour les banques, mais spécialisés pour nous. Après cela, les données sont agrégées dans Hadoop. Ils sont d'abord remplis dans leur forme originale, puis traités, nettoyés, préparés, agrégés - puis transférés sur une couche distincte. Il crée un portefeuille de données complet pour chaque client et pour chaque vitrine. Et sur la base d'Oracle est déjà "wrapper", à travers lequel nous obtenons des informations qui existent déjà dans le système lui-même. Et sur la base de ces données, nous établissons des rapports complets pouvant être soumis aux autorités de réglementation.

Lac de données - stockage centralisé, permettant le stockagetoutes les données et structures. Les données peuvent être stockées directement telles quelles, avec différents types d'analyses - des tableaux de bord et la visualisation au mode de traitement Big Data, à l'analyse en temps réel et à l'apprentissage automatique pour une meilleure prise de décision.

"Nous dénouons les mains des analystes"

Une des raisons pour lesquelles nous avons choisi Hadoop,il y avait un projet d'introduction de Data Lake dans le Moscow Exchange Group. Le produit est encore jeune et en constante évolution. Non seulement les départements financiers vont y ajouter des données - la comptabilité par exemple, mais également les départements techniques qui traiteront leurs données sur les installations de Hadoop - les mêmes journaux des systèmes financiers. La Bourse de Moscou a généré une très grande quantité de données. Afin de traiter cela, les CDB standard (bases de données centrales - «High-tech») ne sont plus adaptés. Ils ne peuvent tout simplement pas faire face à ce courant.

La solution Data Lake simplifie cette tâche.et augmenter la productivité. Nous avons maintenant les rapports de la Banque centrale, les rapports fiscaux et le contrôle Rosfin seront ajoutés ici. Cela implique de stocker un autre type de données. Celles-ci peuvent simplement être des numérisations de documents requis pour l’impôt. Stocker des fichiers binaires dans la base de données est très coûteux et peu judicieux. Par conséquent, une solution a été choisie du point de vue du Big Data.

A l'avenir, cette solution est possiblele futur. Nous avons un groupe de sociétés, chacune ayant ses propres tâches pour traiter ses données. Peut-être qu'à l'avenir tout cela sera fusionné dans un cluster, dans lequel toutes les tâches du groupe seront traitées.

Barre latérale

Une autre direction - réduire les coûtsstockage des données d'archives. Les garder sur Exadata est assez coûteux. Une fois les données transférées au pouvoir de Hadoop, ce sera moins cher, ce sera plus facile à analyser et des performances plus élevées apparaîtront pour les analystes. Pour le moment, ils sont limités par le fait que la ressource affectée à leurs tâches est plutôt étroite - en raison d'une charge excessive sur le système principal.

Comment les logiciels hérités peuvent entraîner des défaillances bancaires

Dans tout paysage bancaire, logiciel utiliséLa disposition est très diverse. Partant de leurs propres développements et se terminant par des solutions industrielles, en restant un logiciel hérité, dont vous ne pouvez vous débarrasser. Il a été choisi à l'origine. Passer de ce dernier à d’autres systèmes coûte très cher. Face à cela, il faut le traîner constamment. Notre solution vous permet de vous débarrasser de certains des systèmes endoloris grâce aux nouvelles technologies.

Par exemple, nous avons préparé des rapports basés sursystème bancaire automatisé. Mais elle avait des limites - performances et utilisation exclusive des ressources lors du calcul d'un seul rapport. En conséquence, la performance en termes de calcul d’une forme dans le temps était extrêmement faible. Parfois, nous avons un formulaire a pris jusqu'à six heures ou plus.

Barre latérale

De tels moments ne peuvent tout simplement pas échapper: Remplacer un système automatisé dans une banque est comme un désastre. Il y a beaucoup de nuances à prendre en compte. Tout simplement parce qu’en un jour, la migration d’un logiciel à un autre est impossible. Dans ma pratique, il y avait un cas où la banque est passée de deux ou trois systèmes bancaires automatisés situés dans les régions à un seul, qui était situé au siège. Ce processus a duré plusieurs mois.

Également à CNC - lors de la mise en œuvre de ce projetil y avait beaucoup de gens impliqués. Ce sont des analystes et des agents financiers qui ont analysé une approche particulière. En outre, un grand nombre de techniciens ont été impliqués - il est nécessaire de préparer l'infrastructure, de déployer et de créer des règles de maintenance.

Les banques qui travaillent depuis longtemps ont définitivement des logiciels hérités. J'ai travaillé dans quatre banques, partout où il y avait un tel logiciel. Commençant par un logiciel écrit sous DOS et se terminant par un gros logiciel, qui ne peut plus être abandonné, car il est très intégré dans les processus métier. Si vous restez sur les anciens systèmes, la performance et la compétitivité de l’institution financière diminuent, les risques augmentent - si ce n’est le défaut, le retrait de la licence.

Les banques et les entreprises qui débutentdéveloppement, il y a plus de place pour la sélection technologique. NCC compris, car nous sommes une entreprise relativement jeune. Le logiciel est utilisé presque partout moderne.