Ruslan Sabitov, National Clearing Center - über Big Data im Bankwesen und Probleme mit Legacy-Software

NCC - Nichtbankkreditinstitut, das die Funktionen einer Clearing-Organisation und einer Zentralbank wahrnimmt

Gegenpartei auf den Märkten der Moskauer Börse .. Als zentraler Kontrahent übernimmt NCC das Risiko von Transaktionen, die Teilnehmer während des Börsenhandels als Vermittler zwischen den Parteien abschließen. Die Haupt- und Hauptaufgabe von NCC ist die Gewährleistung der Stabilität in den bedienten Segmenten des Finanzmarktes durch die Implementierung eines modernen Risikomanagementsystems, das internationalen Standards entspricht.

Mit Big Data ist die Berichterstellung einfacher

Die Bank von Russland benötigt alle finanziellen Teilnehmer- Banken, Finanzorganisationen, einschließlich NCC, über ihre Aktivitäten Bericht zu erstatten. Sie berichten, wie viel Geld in der Bilanz ist, wie es auf getrennte Konten überwiesen wird, wie viele Transaktionen durchgeführt wurden. All dies sollte regelmäßig vorbereitet und der Zentralbank zur Verfügung gestellt werden. Um die Aufgabe zu vereinfachen, haben wir ein automatisches System implementiert, das auf Lösungen der Firma Neoflex basiert. Dieses Unternehmen ist seit langem auf den Aufbau von Finanzberichterstattungssystemen für Aufsichtsbehörden spezialisiert.

Als ich bei der Binbank gearbeitet habe, hatten wir auchNeoflex-Lösungen, aber auf älteren Technologien. Es war eine Oracle-Datenbank, auf der die gesamte Verarbeitung und Berichterstellung erfolgte. Und NCC hat eine Lösung implementiert, die auf der Big-Data-Hadoop-Technologie basiert und die wir als das wichtigste Datenspeicherungs- und Informationsverarbeitungssystem verwenden.

Oracle-Datenbanken - eine der beliebtesten Basen der Welt,Wird von IT-Marktführern verwendet - Facebook, Twitter, YouTube. Beispielsweise werden MySQL-Datenbanklösungen, die auf Oracle-Lösungen basieren, häufig als eingebettete Datenbank ausgewählt, die von Tausenden von Softwareanbietern und Hardwareherstellern vertrieben wird.

Oracle Database oder Oracle RDBMS - objektrelationales DatenbankmanagementsystemOracle-Daten. Oracle unterstützt Unternehmen, Regierungen und andere Organisationen auf der ganzen Welt seit über 40 Jahren beim Sammeln, Organisieren und Verwenden von Daten.

Hadoop - ein Open Source Projekt gefundenAusführen der Apache Software Foundation. Hadoop wird für zuverlässiges, skalierbares und verteiltes Computing sowie als universeller Dateispeicher verwendet, der Petabyte an Daten aufnehmen kann.

Die Paradigmen von Hadoop und Oracle sind völlig unterschiedlich. Man kann mit Sicherheit sagen, dass dies eine Weiterentwicklung ist. Tatsächlich ist dies jedoch nicht der Fall, da sich das Wesen von Big Data von gewöhnlichen Datenbanken unterscheidet. Hadoop impliziert keinen Transaktionalismus, aber als Repository und Informationsverarbeitungssystem ist dies die beste Lösung. Lizenzkosten werden reduziert. Sehr gute Skalierbarkeit und entsprechend hohe Performance.

Seitenleiste

Verschiedene Banken verwenden verschiedene Formen der Berichterstattung,aber es gibt grundlegende inhärente zu allen. Das NCC reicht beispielsweise etwa 200 Berichtsformulare ein. Davon haben wir derzeit ca. 20 mit Hadoop erstellte Formulare implementiert. Es gibt zwei Systeme von Datenquellen. Von ihnen nehmen wir detaillierte Daten für die Berichterstattung. Dies ist ein automatisiertes Bankensystem. Die zweite ist die zentrale Gegenpartei. Dies ist nicht für Banken, sondern für uns spezialisiert. Danach werden die Daten in Hadoop aggregiert. Zuerst werden sie in ihrer ursprünglichen Form gefüllt, dann verarbeitet, gereinigt, vorbereitet, aggregiert - und auf eine separate Ebene übertragen. Es wird ein vollständiges Datenportfolio für jeden Kunden und für jede Storefront erstellt. Und auf der Basis von Oracle handelt es sich bereits um "Wrapper", über die wir Informationen erhalten, die bereits im System selbst vorhanden sind. Auf der Grundlage dieser Daten erstellen wir vollständige Berichte, die an die Aufsichtsbehörden weitergeleitet werden können.

Data Lake - zentrale Speicherung, die Speicherung ermöglichtalle Daten und Strukturen. Daten können mit verschiedenen Analysetypen direkt gespeichert werden - von Dashboards und Visualisierung über Big Data Processing bis hin zu Echtzeitanalysen und maschinellem Lernen für eine bessere Entscheidungsfindung.

"Wir lösen Analystenhände"

Einer der Gründe, warum wir uns für Hadoop entschieden haben,Es gab ein Projekt zur Einführung von Data Lake in der Moscow Exchange Group. Das Produkt ist noch jung und entwickelt sich ständig weiter. Nicht nur die Finanzabteilungen werden Daten hinzufügen - beispielsweise das Rechnungswesen - sondern auch die technischen Abteilungen, die ihre Daten in den Einrichtungen von Hadoop verarbeiten - dieselben Protokolle aus den Finanzsystemen. An der Moskauer Börse wurden sehr große Datenmengen generiert. Um dies zu verarbeiten, sind Standard-CDBs (zentrale Datenbanken - „High-Tech“) nicht mehr geeignet. Sie können mit diesem Strom einfach nicht umgehen.

Die Data Lake-Lösung vereinfacht diese Aufgabe.und die Produktivität steigern. Jetzt haben wir die Berichterstattung der Zentralbank, Steuerberichterstattung, Rosfinmonitoring wird hier hinzugefügt. Dies bedeutet, dass ein anderer Datentyp gespeichert wird. Es kann sich einfach um Scans von Dokumenten handeln, die für die Besteuerung erforderlich sind. Speichern von Binärdateien in der Datenbank ist sehr teuer und unklug. Aus diesem Grund wurde eine Lösung aus Sicht von Big Data gewählt.

In Zukunft kann diese Lösung eine große habendie Zukunft. Wir haben eine Gruppe von Unternehmen, die jeweils ihre eigenen Aufgaben für die Verarbeitung ihrer Daten haben. Vielleicht wird in Zukunft alles zu einem Cluster zusammengefasst, in dem alle Aufgaben innerhalb der Gruppe bearbeitet werden.

Seitenleiste

Eine andere Richtung - Kosten senkenArchivierung von Daten. Sie auf Exadata zu halten ist ziemlich teuer. Nach der Übertragung von Daten an Hadoop wird dies günstiger, die Analyse wird einfacher und Analysten erhalten eine höhere Leistung. Momentan sind sie durch die Tatsache begrenzt, dass die für ihre Aufgaben zugewiesene Ressource - aufgrund einer übermäßigen Belastung des Hauptsystems - eher eng ist.

Wie ältere Software zu Bankausfällen führen kann

In jeder Banklandschaft eingesetzte SoftwareDas Angebot ist sehr vielfältig. Angefangen von einigen eigenen Entwicklungen bis hin zu Industrielösungen, die als Legacy-Software verbleiben, von der man sich nicht befreien kann. Er wurde ursprünglich gewählt. Der Umstieg auf andere Systeme ist sehr aufwendig. In Anbetracht dessen muss man ihn ständig mitziehen. Unsere Lösung ermöglicht es Ihnen, durch den Einsatz neuer Technologien einige der Wunden der Systeme loszuwerden.

Zum Beispiel haben wir Berichte auf der Grundlage von erstelltautomatisiertes Bankensystem. Sie hatte jedoch Einschränkungen - Leistung und ausschließliche Verwendung von Ressourcen bei der Berechnung eines einzelnen Berichts. Dementsprechend war die Leistung bei der Berechnung eines Formulars über die Zeit äußerst gering. Manchmal haben wir eine Form, die bis zu sechs Stunden oder länger gedauert hat.

Seitenleiste

Aus solchen Momenten kann man einfach nicht entkommen: Das Ersetzen eines automatisierten Systems in einer Bank ist wie eine Katastrophe. Es gibt viele Nuancen, die berücksichtigt werden müssen. Nur weil an einem Tag eine Migration von einer Software zu einer anderen unmöglich ist. In meiner Praxis gab es einen Fall, in dem die Bank von zwei oder drei in den Regionen befindlichen automatisierten Bankensystemen auf ein einziges umstellte, das sich wiederum in der Zentrale befand. Dieser Prozess dauerte mehrere Monate.

Auch im NCC - bei der Umsetzung dieses ProjektsEs waren viele Leute involviert. Dies sind Analysten und Finanzbeauftragte, die eine Analyse eines bestimmten Ansatzes durchgeführt haben. Darüber hinaus war eine große Anzahl von technischem Personal involviert - es ist notwendig, die Infrastruktur vorzubereiten, Wartungsvorschriften bereitzustellen und zu erstellen.

Banken, die schon lange arbeiten, haben auf jeden Fall Legacy-Software. Ich habe in vier Banken gearbeitet, überall gab es solche Software. Angefangen bei Software, die unter DOS geschrieben wurde, bis hin zu großer Software, die nicht mehr aufgegeben werden kann, da sie sehr stark in Geschäftsprozesse integriert ist. Wenn Sie auf den alten Systemen bleiben, nimmt die Leistung und Wettbewerbsfähigkeit des Finanzinstituts ab, die Risiken steigen - wenn nicht der Standard, dann der Lizenzentzug.

Banken und Unternehmen fangen gerade erst anEntwicklung gibt es mehr Raum für die Auswahl der Technologie. Einschließlich NCC, da wir ein relativ junges Unternehmen sind. Software wird fast überall modern eingesetzt.