NCCist ein Nichtbankenkreditinstitut, das die Funktionen einer Clearingstelle und einer zentralen
Mit Big Data ist die Berichterstellung einfacher
Die Bank von Russland verlangt von allen Finanzteilnehmern— Banken und Finanzorganisationen, einschließlich NCC, berichten über ihre Aktivitäten. Sie berichten, wie viel Geld sich auf dem Konto befindet, wie es auf die einzelnen Konten überwiesen wird und wie viele Transaktionen stattgefunden haben. All dies sollte regelmäßig vorbereitet und der Zentralbank vorgelegt werden. Um die Aufgabe zu vereinfachen, haben wir ein automatisches System implementiert, das auf Lösungen der Firma Neoflex basiert. Dieses Unternehmen ist seit langem auf den Aufbau von Finanzberichtssystemen für Regulierungsbehörden spezialisiert.
Als ich bei der Binbank gearbeitet habe, hatten wir auchNeoflex-Lösungen, aber auf älteren Technologien. Es war eine Oracle-Datenbank, auf der die gesamte Verarbeitung und Berichterstellung erfolgte. Und NCC hat eine Lösung implementiert, die auf der Big-Data-Hadoop-Technologie basiert und die wir als das wichtigste Datenspeicherungs- und Informationsverarbeitungssystem verwenden.
Oracle-Datenbanken- eine der beliebtesten Datenbanken der Welt,Wird von IT-Marktführern verwendet – Facebook, Twitter, YouTube. Beispielsweise sind auf Oracle-Lösungen basierende MySQL-Datenbanken häufig die eingebetteten Datenbanken der Wahl, die von Tausenden von Softwareanbietern und Hardwareherstellern vertrieben werden.
Oracle Database oder Oracle RDBMS— objektrelationales DatenbankverwaltungssystemOracle-Daten. Seit mehr als 40 Jahren unterstützt Oracle Unternehmen, Regierungen und andere Organisationen auf der ganzen Welt beim Sammeln, Organisieren und Verwenden von Daten.
Hadoopist ein Open-Source-Projektverwaltet von der Apache Software Foundation. Hadoop wird für zuverlässiges, skalierbares und verteiltes Computing verwendet und wird auch als allgemeiner Dateispeicher verwendet, der Petabytes an Daten aufnehmen kann.
Die Paradigmen von Hadoop und Oracle sind völlig unterschiedlich. Man kann mit Sicherheit sagen, dass dies eine Weiterentwicklung ist. Tatsächlich ist dies jedoch nicht der Fall, da sich das Wesen von Big Data von gewöhnlichen Datenbanken unterscheidet. Hadoop impliziert keinen Transaktionalismus, aber als Repository und Informationsverarbeitungssystem ist dies die beste Lösung. Lizenzkosten werden reduziert. Sehr gute Skalierbarkeit und entsprechend hohe Performance.
Seitenleiste
Verschiedene Banken verwenden verschiedene Formen der Berichterstattung,aber es gibt grundlegende inhärente zu allen. Das NCC reicht beispielsweise etwa 200 Berichtsformulare ein. Davon haben wir derzeit ca. 20 mit Hadoop erstellte Formulare implementiert. Es gibt zwei Systeme von Datenquellen. Von ihnen nehmen wir detaillierte Daten für die Berichterstattung. Dies ist ein automatisiertes Bankensystem. Die zweite ist die zentrale Gegenpartei. Dies ist nicht für Banken, sondern für uns spezialisiert. Danach werden die Daten in Hadoop aggregiert. Zuerst werden sie in ihrer ursprünglichen Form gefüllt, dann verarbeitet, gereinigt, vorbereitet, aggregiert - und auf eine separate Ebene übertragen. Es wird ein vollständiges Datenportfolio für jeden Kunden und für jede Storefront erstellt. Und auf der Basis von Oracle handelt es sich bereits um "Wrapper", über die wir Informationen erhalten, die bereits im System selbst vorhanden sind. Auf der Grundlage dieser Daten erstellen wir vollständige Berichte, die an die Aufsichtsbehörden weitergeleitet werden können.
Data Lake- zentralisierte Speicherung, die es ermöglichtSpeichern Sie alle Daten und Strukturen. Daten können so wie sie sind gespeichert werden, mit verschiedenen Arten von Analysen – von Dashboards und Visualisierung bis hin zur Big-Data-Verarbeitung, Echtzeitanalysen und maschinellem Lernen für eine bessere Entscheidungsfindung.
"Wir lösen Analystenhände"
Einer der Gründe, warum wir uns für Hadoop entschieden haben, istEs gab ein Projekt zur Implementierung von Data Lake in der Moskauer Exchange-Gruppe. Das Produkt ist noch jung und entwickelt sich ständig weiter. Dort werden nicht nur Finanzabteilungen Daten speichern – zum Beispiel die Buchhaltung, sondern auch technische Abteilungen, die ihre Daten mithilfe von Hadoop-Einrichtungen verarbeiten – dieselben Protokolle aus Finanzsystemen. Die Moskauer Börse generiert eine sehr große Datenmenge. Um dies zu verarbeiten, sind Standard-Zentraldatenbanken (Zentraldatenbanken – Hi-Tech) nicht mehr geeignet. Sie können diesen Strom einfach nicht bewältigen.
Die Data Lake-Lösung vereinfacht diese Aufgabe.und die Produktivität steigern. Jetzt haben wir die Berichterstattung der Zentralbank, Steuerberichterstattung, Rosfinmonitoring wird hier hinzugefügt. Dies bedeutet, dass ein anderer Datentyp gespeichert wird. Es kann sich einfach um Scans von Dokumenten handeln, die für die Besteuerung erforderlich sind. Speichern von Binärdateien in der Datenbank ist sehr teuer und unklug. Aus diesem Grund wurde eine Lösung aus Sicht von Big Data gewählt.
In Zukunft kann diese Lösung eine große habendie Zukunft. Wir haben eine Gruppe von Unternehmen, die jeweils ihre eigenen Aufgaben für die Verarbeitung ihrer Daten haben. Vielleicht wird in Zukunft alles zu einem Cluster zusammengefasst, in dem alle Aufgaben innerhalb der Gruppe bearbeitet werden.
Seitenleiste
Eine andere Richtung ist die Reduzierung der Kosten fürSpeicherung von Archivdaten. Ihre Speicherung auf Exadata ist ziemlich teuer. Sobald Daten auf Hadoop-Power migriert werden, werden sie kostengünstiger, einfacher zu analysieren und bieten eine bessere Leistung für Analysten. Derzeit sind sie dadurch eingeschränkt, dass die für ihre Aufgaben bereitgestellten Ressourcen aufgrund der übermäßigen Belastung des Hauptsystems recht begrenzt sind.
Wie ältere Software zu Bankausfällen führen kann
In jeder Bank wird die Landschaft der verwendeten Software verwendetSoftware ist sehr vielfältig. Angefangen bei einigen Eigenentwicklungen bis hin zu Industrielösungen, die als Legacy-Software verbleiben und nicht mehr loszuwerden sind. Er wurde ursprünglich ausgewählt. Der Umstieg auf andere Systeme ist sehr kostspielig. Aus diesem Grund muss man ihn ständig ziehen und stützen. Unsere Lösung ermöglicht es Ihnen, einige Systemprobleme durch den Einsatz neuer Technologien zu beseitigen.
Beispielsweise haben wir Berichte erstellt, die darauf basierenautomatisiertes Bankensystem. Es gab jedoch Einschränkungen – Leistung und ausschließliche Ressourcennutzung bei der Berechnung eines Berichts. Dementsprechend war die Leistung bei der Berechnung einer Form im Zeitverlauf äußerst gering. Manchmal dauerte ein Formular bis zu sechs Stunden oder länger.
Seitenleiste
Momente wie diesen kann man nicht einfach hinter sich lassen:Der Austausch eines automatisierten Systems in einer Bank kommt einer Katastrophe gleich. Hier gibt es viele Nuancen, die berücksichtigt werden müssen. Es ist einfach unmöglich, an einem Tag von einer Software auf eine andere zu migrieren. In meiner Praxis kam es vor, dass eine Bank von zwei oder drei automatisierten Banksystemen in den Regionen auf ein einziges umstellte, das sich wiederum in der Zentrale befand. Dieser Prozess dauerte mehrere Monate.
Auch im NCC - bei der Umsetzung dieses ProjektsEs waren viele Leute involviert. Dies sind Analysten und Finanzbeauftragte, die eine Analyse eines bestimmten Ansatzes durchgeführt haben. Darüber hinaus war eine große Anzahl von technischem Personal involviert - es ist notwendig, die Infrastruktur vorzubereiten, Wartungsvorschriften bereitzustellen und zu erstellen.
Banken, die schon lange tätig sind, verfügen definitiv über veraltete Software.Ich habe in vier Banken gearbeitet, alle hatten solche Software. Angefangen bei unter DOS geschriebener Software bis hin zu großer Software, die man nicht mehr ablehnen kann, da sie sehr stark in Geschäftsprozesse integriert ist. Wenn Sie auf alten Systemen bleiben, sinkt die Produktivität und Wettbewerbsfähigkeit eines Finanzunternehmens und die Risiken steigen – wenn es nicht zu einem Ausfall kommt, dann zum Entzug der Lizenz.
Für Banken und Unternehmen, die gerade erst angefangen habenEntwicklung gibt es mehr Spielraum für die Auswahl der Technologien. Einschließlich NCC, da wir ein relativ junges Unternehmen sind. Die fast überall eingesetzte Software ist modern.