CCN- un organisme de crédit non bancaire qui exerce les fonctions d'organisme de compensation et de centrale
La création de rapports est plus facile avec le Big Data
La Banque de Russie exige que tous les participants financiers— les banques, les organismes financiers, dont NCC, rendent compte de leurs activités. Ils indiquent combien d'argent se trouve sur le solde, comment il est transféré vers des comptes individuels et combien de transactions ont eu lieu. Tout cela doit être préparé et fourni régulièrement à la Banque centrale. Pour simplifier la tâche, nous avons mis en place un système automatique basé sur les solutions de la société Neoflex. Cette société est spécialisée depuis longtemps dans la création de systèmes de reporting financier pour les autorités de régulation.
Quand j'ai travaillé chez Binbank, nous avions aussiLes solutions Neoflex, mais sur des technologies plus anciennes. Il s’agissait d’une base de données Oracle sur laquelle tous les traitements et rapports étaient établis. Et NCC a mis en œuvre une solution basée sur la technologie Big Data-Hadoop, que nous utilisons comme système principal de stockage de données et de traitement de l'information.
Bases de données Oracle- l'une des bases de données les plus populaires au monde,utilisé par les leaders du marché informatique - Facebook, Twitter, YouTube. Par exemple, les bases de données MySQL basées sur les solutions Oracle constituent souvent la base de données intégrée de choix distribuée par des milliers d'éditeurs de logiciels et de fabricants de matériel.
Base de données Oracle ou Oracle SGBDR— système de gestion de base de données relationnelle-objetDonnées Oracle. Depuis plus de 40 ans, Oracle aide les entreprises, les gouvernements et d'autres organisations du monde entier à collecter, organiser et utiliser des données.
Hadoopest un projet open source situégéré par Apache Software Foundation. Hadoop est utilisé pour une informatique fiable, évolutive et distribuée, et est également utilisé comme magasin de fichiers à usage général pouvant accueillir des pétaoctets de données.
Les paradigmes de Hadoop et Oracle sont complètement différents. Vous pouvez bien sûr dire que ceci est un développement ultérieur. Mais en fait, cela va de côté, parce que l'essence du Big Data est différente des bases de données ordinaires. Hadoop n'implique pas de transaction, mais en tant que référentiel et système de traitement de l'information - c'est la solution la plus efficace. Les coûts de licence sont réduits. Très bonne évolutivité et, par conséquent, hautes performances.
Barre latérale
Différentes banques utilisent différentes formes de reporting,mais il y a des bases, inhérentes à tous. Par exemple, la CCN soumet environ 200 formulaires de rapport. Parmi ceux-ci, nous avons mis en place à l'heure actuelle une vingtaine de formulaires créés à l'aide de Hadoop. Il existe deux systèmes de sources de données. À partir d’eux, nous recueillons des données détaillées pour les rapports. Ceci est un système bancaire automatisé. La seconde est la contrepartie centrale. Ce n'est pas pour les banques, mais spécialisés pour nous. Après cela, les données sont agrégées dans Hadoop. Ils sont d'abord remplis dans leur forme originale, puis traités, nettoyés, préparés, agrégés - puis transférés sur une couche distincte. Il crée un portefeuille de données complet pour chaque client et pour chaque vitrine. Et sur la base d'Oracle est déjà "wrapper", à travers lequel nous obtenons des informations qui existent déjà dans le système lui-même. Et sur la base de ces données, nous établissons des rapports complets pouvant être soumis aux autorités de réglementation.
Lac de données- un stockage centralisé, permettantstocker toutes les données et structures. Les données peuvent être stockées telles quelles, avec différents types d'analyses : des tableaux de bord et de la visualisation au traitement du Big Data, en passant par l'analyse en temps réel et l'apprentissage automatique pour une meilleure prise de décision.
"Nous dénouons les mains des analystes"
L'une des raisons pour lesquelles nous avons choisi Hadoop estil y avait un projet pour mettre en œuvre Data Lake dans le groupe Exchange de Moscou. Le produit est encore jeune et en constante évolution. Non seulement les services financiers - comptables par exemple, mais aussi les services techniques, qui traiteront leurs données à l'aide des installations Hadoop - les mêmes journaux des systèmes financiers - y stockeront les données. La Bourse de Moscou génère une très grande quantité de données. Pour ce faire, les bases de données centrales standards (bases de données centrales - Hi-Tech) ne conviennent plus. Ils ne peuvent tout simplement pas faire face à ce flux.
La solution Data Lake simplifie cette tâche.et augmenter la productivité. Nous avons maintenant les rapports de la Banque centrale, les rapports fiscaux et le contrôle Rosfin seront ajoutés ici. Cela implique de stocker un autre type de données. Celles-ci peuvent simplement être des numérisations de documents requis pour l’impôt. Stocker des fichiers binaires dans la base de données est très coûteux et peu judicieux. Par conséquent, une solution a été choisie du point de vue du Big Data.
A l'avenir, cette solution est possiblele futur. Nous avons un groupe de sociétés, chacune ayant ses propres tâches pour traiter ses données. Peut-être qu'à l'avenir tout cela sera fusionné dans un cluster, dans lequel toutes les tâches du groupe seront traitées.
Barre latérale
Une autre direction consiste à réduire les coûts destockage de données d'archives. Les stocker sur Exadata coûte assez cher. Une fois les données migrées vers Hadoop, elles seront moins chères, plus faciles à analyser et offriront de meilleures performances aux analystes. À l'heure actuelle, ils sont limités par le fait que les ressources allouées à leurs tâches sont assez limitées - en raison de la charge excessive sur le système principal.
Comment les logiciels hérités peuvent entraîner des défaillances bancaires
Dans toute banque, le paysage des logiciels utilisésles logiciels sont très diversifiés. En commençant par certains de nos propres développements et en terminant par des solutions industrielles qui restent des logiciels hérités dont on ne peut plus se débarrasser. Il a été initialement choisi. Passer de ce système à d’autres systèmes coûte très cher. Pour cette raison, vous devez constamment le tirer et le soutenir. Notre solution vous permet de vous débarrasser de certains problèmes du système grâce à l’utilisation de nouvelles technologies.
Par exemple, nous avons préparé des rapports basés sursystème bancaire automatisé. Mais il avait des limites : performances et utilisation exclusive des ressources lors du calcul d'un rapport. En conséquence, les performances en termes de calcul d’une forme au fil du temps étaient extrêmement faibles. Parfois, un formulaire nous prenait jusqu'à six heures ou plus.
Barre latérale
Vous ne pouvez pas simplement vous éloigner de moments comme celui-ci :Remplacer un système automatisé dans une banque s'apparente à une catastrophe. Il y a ici de nombreuses nuances qui doivent être prises en compte. Il est tout simplement impossible de migrer d’un logiciel à un autre en une journée. Dans ma pratique, il y a eu un cas où une banque est passée de deux ou trois systèmes bancaires automatisés situés en région à un seul, qui, à son tour, était situé au siège social. Ce processus a duré plusieurs mois.
Également à CNC - lors de la mise en œuvre de ce projetil y avait beaucoup de gens impliqués. Ce sont des analystes et des agents financiers qui ont analysé une approche particulière. En outre, un grand nombre de techniciens ont été impliqués - il est nécessaire de préparer l'infrastructure, de déployer et de créer des règles de maintenance.
Les banques qui fonctionnent depuis longtemps disposent certainement d’anciens logiciels.J'ai travaillé dans quatre banques, toutes disposaient d'un tel logiciel. En commençant par les logiciels écrits sous DOS et en terminant par les gros logiciels qu'il n'est plus possible de refuser, car très fortement intégrés aux processus métiers. Si vous restez sur d’anciens systèmes, la productivité et la compétitivité d’une organisation financière diminuent et les risques augmentent – s’il n’y a pas de défaut, alors la révocation de la licence.
Pour les banques et les entreprises qui viennent de démarrer leurdéveloppement, il y a plus de possibilités de choisir des technologies. Y compris NCC, puisque nous sommes une entreprise relativement jeune. Les logiciels utilisés presque partout sont modernes.