NCC- een niet-bancaire kredietorganisatie die de functies van een centrale en clearingorganisatie vervult
Rapportage is eenvoudiger met big data
De Bank of Russia heeft alle financiële deelnemers nodig— banken en financiële organisaties, waaronder NCC, brengen verslag uit over hun activiteiten. Ze rapporteren hoeveel geld er op de balans staat, hoe het naar individuele rekeningen wordt overgemaakt en hoeveel transacties er hebben plaatsgevonden. Dit alles moet op regelmatige basis worden voorbereid en aan de Centrale Bank worden verstrekt. Om de taak te vereenvoudigen, hebben we een automatisch systeem geïmplementeerd op basis van oplossingen van het bedrijf Neoflex. Dit bedrijf is al geruime tijd gespecialiseerd in het bouwen van financiële rapportagesystemen voor regelgevende instanties.
Toen ik bij Binbank werkte, hadden we ookNeoflex-oplossingen, maar dan op oudere technologieën. Het was een Oracle-database en alle verwerking en rapportage was erop gedaan. En NCC implementeerde een oplossing op basis van big data-Hadoop-technologie, die we gebruiken als het belangrijkste systeem voor gegevensopslag en informatieverwerking.
Oracle-databases- een van de meest populaire databases ter wereld,gebruikt door IT-marktleiders - Facebook, Twitter, YouTube. MySQL-databases op basis van Oracle-oplossingen zijn bijvoorbeeld vaak de favoriete embedded database die wordt gedistribueerd door duizenden softwareleveranciers en hardwarefabrikanten.
Oracle Database of Oracle RDBMS— object-relationeel databasebeheersysteemOracle-gegevens. Al meer dan 40 jaar helpt Oracle bedrijven, overheden en andere organisaties over de hele wereld bij het verzamelen, organiseren en gebruiken van gegevens.
Hadoopis een open source project gevestigdbeheerd door de Apache Software Foundation. Hadoop wordt gebruikt voor betrouwbaar, schaalbaar en gedistribueerd computergebruik, en wordt ook gebruikt als bestandsopslag voor algemene doeleinden die petabytes aan gegevens kan bevatten.
De paradigma's van Hadoop en Oracle zijn compleet anders. Je kunt zeker zeggen dat dit een verdere ontwikkeling is. Maar in feite gaat dit opzij, omdat de essentie van big data verschilt van gewone databases. Hadoop impliceert geen transactionalisme, maar als een repository en een informatieverwerkingssysteem - dit is de meest succesvolle oplossing. Licentiekosten worden verlaagd. Zeer goede schaalbaarheid en bijgevolg hoge prestaties.
incut
Verschillende banken gebruiken verschillende rapportagevormen,maar er zijn basis inherent aan iedereen. Het NCC legt bijvoorbeeld ongeveer 200 meldingsformulieren voor. Hiervan hebben we op dit moment ongeveer 20 formulieren geïmplementeerd die met Hadoop zijn gemaakt. Er zijn twee systemen met gegevensbronnen. Van hen nemen we gedetailleerde gegevens voor rapportage. Dit is een geautomatiseerd banksysteem. De tweede is de centrale tegenpartij. Dit is niet voor banken, maar speciaal voor ons. Daarna worden de gegevens verzameld in Hadoop. Eerst worden ze ingevuld in hun oorspronkelijke vorm, vervolgens verwerkt, schoongemaakt, klaargemaakt, geaggregeerd - en overgebracht naar een afzonderlijke laag. Het creëert een compleet gegevensportfolio voor elke klant en voor elke etalage. En op basis van Oracle is het al "wrapper", waardoor we informatie verkrijgen die al in het systeem zelf bestaat. En op basis van deze gegevens bouwen we volwaardige rapporten op die geschikt zijn voor indiening bij de regelgevende instanties.
Datameer- gecentraliseerde opslag, waardoorsla alle gegevens en structuren op. Gegevens kunnen worden opgeslagen zoals ze zijn, met verschillende soorten analyses: van dashboards en visualisatie tot big data-verwerking, realtime analyses en machinaal leren voor betere besluitvorming.
"We ontrafelen de handen van analisten"
Eén van de redenen waarom wij voor Hadoop hebben gekozen iser was een project om Data Lake te implementeren in de Moskouse Exchange Group. Het product is nog jong en evolueert voortdurend. Niet alleen financiële afdelingen – de boekhouding bijvoorbeeld, maar ook technische afdelingen, die hun gegevens gaan verwerken met behulp van Hadoop-faciliteiten – dezelfde logs uit financiële systemen – zullen daar gegevens opslaan. De Moskouse Beurs genereert een zeer grote hoeveelheid gegevens. Om dit te verwerken zijn standaard centrale databases (central databases - Hi-Tech) niet meer geschikt. Ze kunnen deze stroom simpelweg niet aan.
Data Lake-oplossing vereenvoudigt deze taak.en verhoog de productiviteit. Nu hebben we de rapportage van de Centrale Bank, belastingaangifte, Rosefinitoring zal hier worden toegevoegd. Dit betekent het opslaan van een ander type gegevens. Het kunnen eenvoudigweg scans zijn van documenten die voor belasting zijn vereist. Bewaar binaire bestanden in de database is erg duur en onverstandig. Daarom werd een oplossing gekozen vanuit het oogpunt van big data.
In de toekomst kan deze oplossing groot zijnde toekomst. We hebben een groep bedrijven, elk heeft zijn eigen taken voor het verwerken van zijn gegevens. Misschien worden ze in de toekomst allemaal samengevoegd tot één cluster, waarin alle taken binnen de groep worden verwerkt.
incut
Een andere richting is het verlagen van de kosten vooropslag van archiefgegevens. Het opslaan ervan op Exadata is vrij duur. Zodra gegevens naar Hadoop-technologie zijn gemigreerd, zullen deze goedkoper en gemakkelijker te analyseren zijn en betere prestaties voor analisten opleveren. Op dit moment worden ze beperkt door het feit dat de middelen die voor hun taken zijn toegewezen vrij beperkt zijn - vanwege de overmatige belasting van het hoofdsysteem.
Hoe verouderde software kan leiden tot wanbetaling door banken
Bij elke bank wordt het landschap van software gebruiktsoftware is zeer divers. Beginnend met enkele van onze eigen ontwikkelingen en eindigend met industriële oplossingen die als legacy-software blijven bestaan en niet meer weg te krijgen zijn. Oorspronkelijk was hij gekozen. Overstappen van dit naar andere systemen is erg duur. Hierdoor moet je hem constant trekken en ondersteunen. Met onze oplossing kunt u een aantal systeemproblemen oplossen door het gebruik van nieuwe technologieën.
Zo hebben wij rapportages opgesteld op basis vangeautomatiseerd banksysteem. Maar het had beperkingen: prestaties en exclusief gebruik van bronnen bij het berekenen van één rapport. Dienovereenkomstig waren de prestaties bij het berekenen van één vorm in de loop van de tijd extreem laag. Soms kostte één formulier ons wel zes uur of langer.
incut
Je kunt niet zomaar weglopen van momenten als deze:Het vervangen van een geautomatiseerd systeem in een bank is een ramp. Er zijn hier veel nuances waarmee rekening moet worden gehouden. Het is simpelweg onmogelijk om in één dag van de ene software naar de andere te migreren. In mijn praktijk was er een geval waarin een bank overstapte van twee of drie geautomatiseerde banksystemen in de regio's naar één systeem, dat zich op zijn beurt in het hoofdkantoor bevond. Dit proces duurde enkele maanden.
Ook in NCC - bij de uitvoering van dit projecter waren veel mensen bij betrokken. Dit zijn analisten en financiële functionarissen die een analyse van een bepaalde aanpak hebben uitgevoerd. Daarnaast was er een groot aantal technisch personeel bij betrokken - het is noodzakelijk om de infrastructuur voor te bereiden, te implementeren en onderhoudsvoorschriften te creëren.
Banken die al heel lang actief zijn, beschikken zeker over verouderde software.Ik heb bij vier banken gewerkt, ze hadden allemaal dergelijke software. Beginnend met software geschreven onder DOS en eindigend met grote software die niet meer te weigeren is, omdat deze zeer sterk geïntegreerd is in bedrijfsprocessen. Als je op oude systemen blijft werken, neemt de productiviteit en het concurrentievermogen van een financiële organisatie af en nemen de risico's toe. Als er geen wanbetaling plaatsvindt, dan wordt de licentie ingetrokken.
Voor banken en bedrijven die net zijn begonnen met hunontwikkeling is er meer ruimte voor het kiezen van technologieën. Inclusief NCC, aangezien we een relatief jong bedrijf zijn. De vrijwel overal gebruikte software is modern.