NCC- en ikke-bank kredittorganisasjon som utfører funksjonene til en clearingorganisasjon og sentral
Rapportering er lettere med store data
Bank of Russia krever alle finansielle deltakere— banker, finansielle organisasjoner, inkludert NCC, rapporterer om deres aktiviteter. De rapporterer hvor mye penger som er på saldoen, hvordan de overføres til individuelle kontoer, og hvor mange transaksjoner som har funnet sted. Alt dette bør forberedes og leveres til sentralbanken med jevne mellomrom. For å forenkle oppgaven implementerte vi et automatisk system basert på løsninger fra Neoflex-selskapet. Dette selskapet har lenge spesialisert seg på å bygge finansielle rapporteringssystemer for regulatoriske myndigheter.
Da jeg jobbet på Binbank, hadde vi ogsåNeoflex-løsninger, men på eldre teknologier. Det var en Oracle-database, og all behandling og rapportering ble gjort på den. Og NCC implementerte en løsning basert på stor data-Hadoop-teknologi, som vi bruker som hoveddatamagasin og informasjonsbehandlingssystem.
Oracle databaser- en av de mest populære databasene i verden,brukt av IT-markedsledere - Facebook, Twitter, YouTube. For eksempel er MySQL-databaser basert på Oracle-løsninger ofte den innebygde databasen du velger, distribuert av tusenvis av programvareleverandører og maskinvareprodusenter.
Oracle Database eller Oracle RDBMS— styringssystem for objektrelasjonell databaseOracle-data. I mer enn 40 år har Oracle hjulpet selskaper, myndigheter og andre organisasjoner rundt om i verden med å samle inn, organisere og bruke data.
Hadooper et åpen kildekode-prosjekt lokalisertadministrert av Apache Software Foundation. Hadoop brukes til pålitelig, skalerbar og distribuert databehandling, og brukes også som en generell fillager som kan romme petabyte med data.
Hadoop og Oracle-paradigmene er helt forskjellige. Du kan sikkert si at dette er en videreutvikling. Men faktisk går dette til side, fordi selve essensen av store data skiller seg fra vanlige databaser. Hadoop innebærer ikke transaksjonalisme, men som et lager og informasjonssystem - dette er den mest vellykkede løsningen. Lisenskostnadene reduseres. Meget god skalerbarhet, og dermed høy ytelse.
incut
Ulike banker bruker ulike former for rapportering,men det er grunnleggende iboende for alle. For eksempel sender NCC 200 meldingsskjemaer. Av disse har vi for øyeblikket implementert ca 20 skjemaer opprettet ved hjelp av Hadoop. Det er to datakilder. Fra dem tar vi detaljerte data for rapportering. Dette er et automatisert banksystem. Den andre er den sentrale motparten. Dette er ikke for banker, men spesialisert seg på oss. Deretter aggregeres dataene i Hadoop. Først fylles de i sin opprinnelige form, deretter behandles, rengjøres, prepareres, aggregeres - og overføres til et eget lag. Det skaper en komplett dataportefølje for hver klient og for hver butikkfront. Og på grunnlag av Oracle er det allerede "wrapper", der vi får informasjon som allerede finnes i selve systemet. Og på grunnlag av disse dataene bygger vi fullverdige rapporter som er egnet for innsending til reguleringsmyndighetene.
Datasjø- sentralisert lagring, tillaterlagre alle data og strukturer. Data kan lagres rett som de er, med ulike typer analyser – fra dashbord og visualisering til stordatabehandling, sanntidsanalyse og maskinlæring for bedre beslutningstaking.
"Vi frigjør analytikernes hender"
En av grunnene til at vi valgte Hadoop erdet var et prosjekt for å implementere Data Lake i Moscow Exchange Group. Produktet er fortsatt ungt og i stadig utvikling. Ikke bare finansavdelinger vil lagre data der – for eksempel regnskap, men også tekniske avdelinger som skal behandle dataene sine ved hjelp av Hadoop-fasiliteter – de samme loggene fra økonomisystemene. Moscow Exchange genererer en veldig stor mengde data. For å behandle dette er standard sentrale databaser (sentrale databaser - Hi-Tech) ikke lenger egnet. De kan rett og slett ikke takle denne strømmen.
Data Lake-løsningen forenkler denne oppgaven.og øke produktiviteten. Nå har vi rapportering fra sentralbanken, skatterapportering, Rosfinmonitoring vil bli lagt til her. Dette betyr at du lagrer en annen type data. Det kan bare være skanning av dokumenter som kreves for skatt. Lagre binære filer i databasen er veldig dyrt og uklokt. Derfor ble en løsning valgt ut fra store data.
I fremtiden kan denne løsningen ha en storfremtiden. Vi har en gruppe selskaper, hver har sine egne oppgaver for å behandle dataene sine. Kanskje i fremtiden vil det hele bli slått sammen i en klynge, der alle oppgaver i gruppen skal behandles.
incut
En annen retning er å redusere kostnadene forlagring av arkivdata. Det er ganske dyrt å lagre dem på Exadata. Når data er migrert til Hadoop power, vil det bli billigere, enklere å analysere og gi bedre ytelse for analytikere. For øyeblikket er de begrenset av det faktum at ressursen som er tildelt for oppgavene deres er ganske smal - på grunn av den overdrevne belastningen på hovedsystemet.
Hvor gammel programvare kan føre til bankstandard
I enhver bank, landskapet av programvare som brukesprogramvare er veldig variert. Starter fra noen av våre egne utviklinger og slutter med industrielle løsninger som forblir som eldre programvare som ikke lenger kan bli kvitt. Han ble opprinnelig valgt. Å bytte fra det til andre systemer er veldig dyrt. På grunn av dette må du hele tiden trekke og støtte ham. Vår løsning lar deg bli kvitt noen systemproblemer ved bruk av ny teknologi.
For eksempel utarbeidet vi rapporter basert påautomatisert banksystem. Men det hadde begrensninger - ytelse og eksklusiv bruk av ressurser ved beregning av én rapport. Følgelig var ytelsen når det gjelder beregning av én form over tid ekstremt lav. Noen ganger tok ett skjema oss opptil seks timer eller mer.
incut
Du kan ikke bare gå bort fra øyeblikk som dette:Å erstatte et automatisert system i en bank er som en katastrofe. Her er det mange nyanser som må tas hensyn til. Det er rett og slett umulig å migrere fra en programvare til en annen på en dag. I min praksis var det et tilfelle da en bank byttet fra to eller tre automatiserte banksystemer lokalisert i regionene til et enkelt, som igjen var lokalisert i hovedkontoret. Denne prosessen varte i flere måneder.
Også i NCC - når du implementerer dette prosjektetdet var mange involverte. Disse er analytikere og finansansvarlige som gjennomførte en analyse av en bestemt tilnærming. I tillegg var et stort antall teknisk personell involvert - det er nødvendig å forberede infrastrukturen, distribuere og opprette vedlikeholdsregler.
Banker som har vært i drift i lang tid har definitivt eldre programvare.Jeg jobbet i fire banker, alle hadde slik programvare. Starter med programvare skrevet under DOS og slutter med stor programvare som ikke lenger er mulig å nekte, siden den er veldig sterkt integrert i forretningsprosesser. Hvis du forblir på gamle systemer, reduseres produktiviteten og konkurranseevnen til en finansiell organisasjon, og risikoen øker – hvis ikke mislighold, så tilbakekalling av lisenser.
For banker og selskaper som nettopp har startet sittutvikling, er det større rom for å velge teknologier. Inkludert NCC, siden vi er en relativt ung bedrift. Programvaren som brukes nesten overalt er moderne.