NCC- pankkien ulkopuolinen luottolaitos, joka suorittaa selvitysyhteisön ja keskushallinnon tehtäviä
Suurten tietojen avulla raportointi on helpompaa
Venäjän keskuspankki vaatii kaikkia rahoitusalan osallistujia— Pankit, rahoituslaitokset, mukaan lukien NCC, raportoivat toiminnastaan. He raportoivat, kuinka paljon rahaa on saldolla, kuinka ne siirretään henkilötileille ja kuinka monta tapahtumaa on tapahtunut. Kaikki tämä tulee valmistella ja toimittaa keskuspankille säännöllisesti. Tehtävän yksinkertaistamiseksi otimme käyttöön automaattisen järjestelmän, joka perustuu Neoflex-yhtiön ratkaisuihin. Tämä yritys on pitkään erikoistunut taloudellisten raportointijärjestelmien rakentamiseen valvontaviranomaisille.
Kun työskentelin Binbankissa, meillä oli myösNeoflex-ratkaisut, mutta vanhemmat teknologiat. Se oli Oracle-tietokanta, ja kaikki käsittely ja raportointi tehtiin siinä. Ja NCC toteutti isoon datan Hadoop-teknologiaan perustuvan ratkaisun, jota käytämme tärkeimpänä tietojenkäsittelyjärjestelmänä.
Oracle-tietokannat- yksi maailman suosituimmista tietokannoista,IT-markkinoiden johtajien käyttämät - Facebook, Twitter, YouTube. Esimerkiksi Oracle-ratkaisuihin perustuvat MySQL-tietokannat ovat usein tuhansien ohjelmisto- ja laitevalmistajien valitsema sulautettu tietokanta.
Oracle Database tai Oracle RDBMS— oliorelaatiotietokannan hallintajärjestelmäOracle-tiedot. Yli 40 vuoden ajan Oracle on auttanut yrityksiä, hallituksia ja muita organisaatioita ympäri maailmaa keräämään, järjestämään ja käyttämään tietoja.
Hadoopon avoimen lähdekoodin projekti sijaitseehallinnoi Apache Software Foundation. Hadoopia käytetään luotettavaan, skaalautuvaan ja hajautettuun tietojenkäsittelyyn, ja sitä käytetään myös yleiskäyttöisenä tiedostosäilönä, johon mahtuu petatavuja tietoa.
Hadoopin ja Oraclein paradigmat ovat täysin erilaisia. Voit tietysti sanoa, että tämä on jatkokehitys. Itse asiassa tämä kuitenkin menee syrjään, koska suurten tietojen ydin erottuu tavallisista tietokannoista. Hadoop ei merkitse transaktionismia, vaan arkistointia ja tietojenkäsittelyjärjestelmää - tämä on onnistunein ratkaisu. Lisenssikustannukset pienenevät. Erittäin hyvä skaalautuvuus ja sen vuoksi korkea suorituskyky.
incut
Eri pankit käyttävät erilaisia raportointimuotoja,mutta on perustavaa laatua, joka on luontainen kaikille. NCC esittää esimerkiksi noin 200 raportointilomaketta. Näistä on tällä hetkellä toteutettu noin 20 Hadoopilla luotua lomaketta. Tietolähteitä on kaksi. Heiltä kerätään yksityiskohtaisia tietoja raportointia varten. Tämä on automaattinen pankkijärjestelmä. Toinen on keskeinen vastapuoli. Tämä ei koske pankkeja, vaan erikoistunut meihin. Tämän jälkeen tiedot yhdistetään Hadoopiin. Ensinnäkin ne täytetään alkuperäisessä muodossaan, sitten käsitellään, puhdistetaan, valmistetaan, aggregoidaan ja siirretään erilliseen kerrokseen. Se luo täydellisen tietosalkun jokaiselle asiakkaalle ja jokaiselle myymälälle. Ja Oracle perustuu jo "kääreeseen", jonka kautta saamme tietoa, joka on jo olemassa itse järjestelmässä. Näiden tietojen perusteella rakennamme täysivaltaisia raportteja, jotka soveltuvat toimittamaan sääntelyviranomaisille.
Data järvi- Keskitetty varastointi mahdollistaatallentaa kaikki tiedot ja rakenteet. Tiedot voidaan tallentaa sellaisenaan erityyppisten analytiikan avulla - kojelaudoista ja visualisoinneista ison datan käsittelyyn, reaaliaikaiseen analytiikkaan ja koneoppimiseen päätöksenteon parantamiseksi.
"Avoimme analyytikoiden kädet"
Yksi syistä, miksi valitsimme Hadoopin, onoli projekti Data Laken toteuttamiseksi Moskovan Exchange Groupissa. Tuote on vielä nuori ja kehittyy jatkuvasti. Ei vain talousosastot - esimerkiksi kirjanpito, vaan myös tekniset osastot, jotka käsittelevät tietojaan Hadoop-palveluilla - samat lokit talousjärjestelmistä - tallentavat tietoja sinne. Moskovan pörssi tuottaa erittäin suuren määrän dataa. Tämän käsittelemiseksi tavalliset keskustietokannat (keskustietokannat - Hi-Tech) eivät enää sovellu. He eivät yksinkertaisesti pysty selviytymään tästä virtauksesta.
Data Lake -ratkaisu yksinkertaistaa tätä tehtävää.ja lisätä tuottavuutta. Nyt meillä on keskuspankin raportointi, veroilmoitus, Rosfinmonitoring lisätään tähän. Tämä merkitsee toisen tietotyypin tallentamista. Nämä voivat olla vain verotukseen tarvittavien asiakirjojen skannauksia. Binääritiedostojen tallentaminen tietokantaan on erittäin kallista ja kohtuutonta. Siksi ratkaisu valittiin suurten tietojen näkökulmasta.
Tulevaisuudessa tämä ratkaisu on mahdollistatulevaisuudessa. Meillä on joukko yrityksiä, joilla kullakin on omat tehtävänsä tietojen käsittelyyn. Tulevaisuudessa tämä kaikki yhdistetään yhdeksi klusteriksi, jossa kaikki ryhmän tehtävät käsitellään.
incut
Toinen suunta on kustannusten vähentäminenarkistotietojen tallennus. Niiden säilyttäminen Exadatassa on melko kallista. Kun tiedot on siirretty Hadoop Poweriin, se on halvempaa, helpompi analysoida ja tarjoaa paremman suorituskyvyn analyytikoille. Tällä hetkellä heitä rajoittaa se, että heidän tehtäviinsä varatut resurssit ovat melko kapeat - pääjärjestelmän liiallisen kuormituksen vuoksi.
Miten vanhat ohjelmistot voivat johtaa pankin oletuksiin
Missä tahansa pankissa käytettyjen ohjelmistojen maisemaohjelmisto on hyvin monipuolinen. Alkaen joistakin omasta kehityksestämme ja päättyen teollisiin ratkaisuihin, jotka jäävät vanhoiksi ohjelmistoiksi, joista ei enää pääse eroon. Hänet valittiin alun perin. Siirtyminen siitä muihin järjestelmiin on erittäin kallista. Tämän vuoksi sinun täytyy jatkuvasti vetää ja tukea häntä. Ratkaisumme avulla voit päästä eroon joistakin järjestelmäongelmista käyttämällä uusia teknologioita.
Teimme esimerkiksi raportteja pohjaltaautomatisoitu pankkijärjestelmä. Mutta sillä oli rajoituksia - suorituskyky ja yksinomainen resurssien käyttö yhden raportin laskennassa. Näin ollen suorituskyky yhden muodon laskemisessa ajan kuluessa oli erittäin alhainen. Joskus yksi lomake kesti jopa kuusi tuntia tai enemmän.
incut
Et voi vain kävellä pois tällaisista hetkistä:Automaattisen järjestelmän vaihtaminen pankissa on kuin katastrofi. Tässä on monia vivahteita, jotka on otettava huomioon. On yksinkertaisesti mahdotonta siirtyä ohjelmistosta toiseen yhdessä päivässä. Käytännössäni oli tapaus, jossa pankki siirtyi kahdesta tai kolmesta alueilla sijaitsevasta automatisoidusta pankkijärjestelmästä yhteen, joka puolestaan sijaitsi pääkonttorissa. Tämä prosessi kesti useita kuukausia.
Myös NCC: ssä - toteutettaessa tätä hankettamukana oli paljon ihmisiä. Nämä ovat analyytikkoja ja taloudellisia virkamiehiä, jotka ovat analysoineet tietyn lähestymistavan. Lisäksi mukana oli suuri määrä teknistä henkilöstöä - infrastruktuurin valmistelu, huolto-ohjeiden käyttöönotto ja luominen on tarpeen.
Pitkään toimineilla pankeilla on varmasti vanhoja ohjelmistoja.Työskentelin neljässä pankissa, joissa kaikissa oli tällainen ohjelmisto. Alkaen DOS:lla kirjoitetuista ohjelmistoista ja päättyen suuriin ohjelmistoihin, joista ei enää voi kieltäytyä, koska se on erittäin vahvasti integroitunut liiketoimintaprosesseihin. Jos pysyt vanhoissa järjestelmissä, finanssiorganisaation tuottavuus ja kilpailukyky heikkenevät ja riskit kasvavat – jos ei ole oletusarvo, niin lisenssin peruuttaminen.
Pankeille ja yrityksille, jotka ovat juuri aloittaneet toimintansateknologian valinnassa on enemmän tilaa. Mukaan lukien NCC, koska olemme suhteellisen nuori yritys. Lähes kaikkialla käytetty ohjelmisto on nykyaikainen.