NCC- en ikke-bankkreditorganisation, der udfører funktionerne som en clearingorganisation og central
Rapportering er nemmere med store data
Bank of Russia kræver alle finansielle deltagere— banker, finansielle organisationer, herunder NCC, rapporterer om deres aktiviteter. De rapporterer, hvor mange penge der er på saldoen, hvordan de overføres til individuelle konti, og hvor mange transaktioner der har fundet sted. Alt dette bør forberedes og leveres til centralbanken regelmæssigt. For at forenkle opgaven implementerede vi et automatisk system baseret på løsninger fra Neoflex virksomheden. Denne virksomhed har længe specialiseret sig i at opbygge finansielle rapporteringssystemer for tilsynsmyndigheder.
Da jeg arbejdede hos Binbank, havde vi ogsåNeoflex-løsninger, men på ældre teknologier. Det var en Oracle-database, og al behandling og rapportering blev udført på den. Og NCC implementerede en løsning baseret på stor data-Hadoop-teknologi, som vi bruger som det vigtigste datalagrings- og informationsbehandlingssystem.
Oracle databaser- en af de mest populære databaser i verden,brugt af it-markedsledere - Facebook, Twitter, YouTube. For eksempel er MySQL-databaser baseret på Oracle-løsninger ofte den indlejrede database, der vælges, distribueret af tusindvis af softwareleverandører og hardwareproducenter.
Oracle Database eller Oracle RDBMS— styringssystem for objektrelationel databaseOracle data. I mere end 40 år har Oracle hjulpet virksomheder, regeringer og andre organisationer rundt om i verden med at indsamle, organisere og bruge data.
Hadooper et open source-projekt placeretadministreres af Apache Software Foundation. Hadoop bruges til pålidelig, skalerbar og distribueret databehandling og bruges også som et fillager til generelle formål, der kan rumme petabytes af data.
Hadoop og Oracle's paradigmer er helt forskellige. Du kan helt sikkert sige, at dette er en videre udvikling. Men i virkeligheden går dette til side, fordi essensen af store data er forskellig fra almindelige databaser. Hadoop indebærer ikke transaktionalisme, men som et databehandlings- og informationsbehandlingssystem - er dette den mest succesrige løsning. Licensomkostningerne reduceres. Meget god skalerbarhed og dermed høj ydeevne.
indskæring
Forskellige banker bruger forskellige former for rapportering,men der er grundlæggende iboende for alle. For eksempel sender NCC omkring 200 rapporteringsformer. Af disse har vi i øjeblikket implementeret omkring 20 formularer oprettet ved hjælp af Hadoop. Der er to datakilder. Fra dem tager vi detaljerede data til rapportering. Dette er et automatiseret banksystem. Den anden er den centrale modpart. Dette er ikke for banker, men specialiseret for os. Herefter aggregeres dataene i Hadoop. Først bliver de udfyldt i deres originale form, derefter behandlet, renset, forberedt, aggregeret - og overført til et separat lag. Det skaber en komplet dataportefølje for hver enkelt kunde og for hver butik. Og på grundlag af Oracle er der allerede "wrapper", hvorved vi får informationer, der allerede findes i selve systemet. Og på baggrund af disse data bygger vi komplette rapporter, der er egnede til indsendelse til reguleringsmyndighederne.
Data sø- centraliseret opbevaring, tilladergemme alle data og strukturer. Data kan gemmes, som de er, med forskellige typer analyser - fra dashboards og visualisering til big data-behandling, realtidsanalyse og maskinlæring for bedre beslutningstagning.
"Vi frigør analytikernes hænder"
En af grundene til at vi valgte Hadoop erder var et projekt om at implementere Data Lake i Moscow Exchange Group. Produktet er stadig ungt og i konstant udvikling. Ikke kun økonomiafdelinger gemmer data der - f.eks. regnskaber, men også tekniske afdelinger, der behandler deres data ved hjælp af Hadoop-faciliteter - de samme logfiler fra økonomisystemer. Moscow Exchange genererer en meget stor mængde data. For at kunne behandle dette er standard centrale databaser (centrale databaser - Hi-Tech) ikke længere egnede. De kan simpelthen ikke klare denne strøm.
Data Lake løsning forenkler denne opgave.og øge produktiviteten. Nu har vi rapportering fra centralbanken, skatterapportering, Rosfinmonitoring vil blive tilføjet her. Det betyder at gemme en anden type data. Det kan simpelthen være scanning af dokumenter, der kræves for skat. Gem binære filer i databasen er meget dyrt og uklogt. Derfor blev en løsning valgt ud fra store data.
I fremtiden kan denne løsning have en storfremtiden. Vi har en gruppe af virksomheder, hver har sine egne opgaver til behandling af sine data. Måske i fremtiden vil det hele blive slået sammen i en klynge, hvor alle opgaver inden for gruppen bliver behandlet.
indskæring
En anden retning er at reducere omkostningerne tilopbevaring af arkivdata. Det er ret dyrt at gemme dem på Exadata. Når først data er migreret til Hadoop power, vil det blive billigere, nemmere at analysere og give bedre ydeevne for analytikere. I øjeblikket er de begrænset af det faktum, at den ressource, der er allokeret til deres opgaver, er ret smal - på grund af den overdrevne belastning på hovedsystemet.
Hvor gammel software kan føre til bankstandard
I enhver bank, landskabet af software, der brugessoftware er meget forskelligartet. Startende fra nogle af vores egne udviklinger og slutter med industrielle løsninger, der forbliver som ældre software, der ikke længere kan slippes af med. Han blev oprindeligt valgt. Det er meget dyrt at skifte fra det til andre systemer. På grund af dette er du nødt til konstant at trække og støtte ham. Vores løsning giver dig mulighed for at slippe af med nogle systemproblemer gennem brug af nye teknologier.
Vi har fx udarbejdet rapporter ud fraautomatiseret banksystem. Men det havde begrænsninger - ydeevne og eksklusiv brug af ressourcer ved beregning af én rapport. Følgelig var ydeevnen med hensyn til beregning af én form over tid ekstremt lav. Nogle gange tog en formular os op til seks timer eller mere.
indskæring
Du kan ikke bare gå væk fra øjeblikke som dette:At udskifte et automatiseret system i en bank er som en katastrofe. Der er mange nuancer her, der skal tages i betragtning. Det er simpelthen umuligt at migrere fra én software til en anden på én dag. I min praksis var der et tilfælde, hvor en bank skiftede fra to eller tre automatiserede banksystemer placeret i regionerne til et enkelt, som igen var placeret i hovedkontoret. Denne proces varede flere måneder.
Også i NCC - når gennemførelsen af dette projektder var mange involverede. Det er analytikere og finansansvarlige, der har foretaget en analyse af en bestemt tilgang. Derudover var et stort antal tekniske personale involveret - det er nødvendigt at forberede infrastrukturen, implementere og oprette vedligeholdelsesbestemmelser.
Banker, der har været i drift i lang tid, har helt sikkert ældre software.Jeg arbejdede i fire banker, alle havde sådan en software. Startende med software skrevet under DOS og slutter med stor software, som ikke længere er muligt at afvise, da den er meget stærkt integreret i forretningsprocesser. Hvis du forbliver på gamle systemer, falder produktiviteten og konkurrenceevnen i en finansiel organisation, og risiciene stiger – hvis ikke standard, så tilbagekaldelse af licens.
For banker og virksomheder, der lige har startet deresudvikling, er der større muligheder for at vælge teknologier. Herunder NCC, da vi er en forholdsvis ung virksomhed. Softwaren, der bruges næsten overalt, er moderne.