NVK- nebankarska kreditna organizacija koja obavlja funkcije klirinške organizacije i središnjeg
Izvješćivanje je lakše s velikim podacima
Banka Rusije zahtijeva sve financijske sudionike— banke, financijske organizacije, uključujući NCC, izvješćuju o svojim aktivnostima. Oni izvješćuju koliko je novca na stanju, kako se prenosi na pojedinačne račune i koliko je transakcija obavljeno. Sve to treba redovno pripremati i dostavljati Centralnoj banci. Kako bismo pojednostavili zadatak, implementirali smo automatski sustav temeljen na rješenjima tvrtke Neoflex. Ova tvrtka se dugo specijalizirala za izgradnju sustava financijskog izvještavanja za regulatorna tijela.
Kad sam radio u Binbank, također smo imaliNeoflex rješenja, ali na starijim tehnologijama. Bila je to Oracle baza podataka, i sva obrada i izvještavanje su obavljeni na njoj. NCC je implementirao rješenje temeljeno na Hadoop tehnologiji, koju koristimo kao glavni sustav za pohranu podataka i obradu podataka.
Oracle baze podataka- jedna od najpopularnijih baza podataka na svijetu,koriste lideri IT tržišta - Facebook, Twitter, YouTube. Na primjer, MySQL baze podataka temeljene na Oracle rješenjima često su ugrađene baze podataka izbora koje distribuiraju tisuće dobavljača softvera i proizvođača hardvera.
Oracle Database ili Oracle RDBMS— objektno-relacijski sustav upravljanja bazom podatakaOracle podaci. Više od 40 godina Oracle pomaže tvrtkama, vladama i drugim organizacijama diljem svijeta prikupljati, organizirati i koristiti podatke.
Hadoopje projekt otvorenog koda koji se nalaziupravlja Apache Software Foundation. Hadoop se koristi za pouzdano, skalabilno i distribuirano računalstvo, a također se koristi kao pohrana datoteka opće namjene koja može primiti petabajte podataka.
Paradigme Hadoopa i Oraclea potpuno su različite. Svakako možete reći da je ovo daljnji razvoj. No, u stvari, to ide po strani, jer se sama bit velikih podataka razlikuje od običnih baza podataka. Hadoop ne podrazumijeva transakcijski, već kao repozitorij i sustav obrade informacija - to je najuspješnije rješenje. Troškovi licence su smanjeni. Vrlo dobra skalabilnost, a time i visoke performanse.
incut
Različite banke koriste različite oblike izvješćivanja,ali postoje temeljne inherentne svima. Na primjer, NCC dostavlja oko 200 obrazaca za izvješćivanje. Od toga, trenutno smo implementirali oko 20 obrazaca kreiranih pomoću Hadoopa. Postoje dva sustava izvora podataka. Iz njih uzimamo detaljne podatke za izvještavanje. To je automatizirani bankarski sustav. Drugi je središnja strana. Ovo nije za banke, nego za nas. Nakon toga se podaci skupljaju u Hadoop-u. Prvo se pune u izvornom obliku, zatim obrađuju, čiste, pripremaju, agregiraju i prenose u poseban sloj. Stvara cjelovit portfelj podataka za svakog klijenta i za svaku trgovinu. A na temelju Oraclea je već "omot", preko kojeg dobivamo informacije koje već postoje u samom sustavu. Na temelju tih podataka izrađujemo cjelovita izvješća prikladna za podnošenje regulatornim tijelima.
Data jezero- centralizirano skladištenje, dopuštajućipohraniti sve podatke i strukture. Podaci se mogu pohraniti onakvi kakvi jesu, s različitim vrstama analitike - od nadzornih ploča i vizualizacije do obrade velikih podataka, analitike u stvarnom vremenu i strojnog učenja za bolje donošenje odluka.
"Mi odvajamo ruke analitičara"
Jedan od razloga zašto smo odabrali Hadoop jepostojao je projekt implementacije Data Lake u Moscow Exchange Group. Proizvod je još mlad i stalno se razvija. Tamo neće pohranjivati podatke samo financijski odjeli - računovodstvo, na primjer, nego i tehnički odjeli koji će svoje podatke obrađivati koristeći Hadoop objekte - iste zapise iz financijskih sustava. Moskovska burza generira vrlo veliku količinu podataka. Za ovu obradu standardne središnje baze podataka (centralne baze podataka - Hi-Tech) više nisu prikladne. Oni se jednostavno ne mogu nositi s tim protokom.
Rješenje Data Lake pojednostavljuje ovaj zadatak.i povećati produktivnost. Sada imamo izvješća Centralne banke, porezno izvješćivanje, Rosfinmonitoring će biti dodan ovdje. To znači pohranjivanje druge vrste podataka. To jednostavno može biti skeniranje dokumenata potrebnih za porez. Spremite binarne datoteke u bazu podataka je vrlo skupo i nerazumno. Stoga je rješenje odabrano s gledišta velikih podataka.
U budućnosti, ovo rješenje može imati velikobudućnosti. Imamo grupu tvrtki, od kojih svaka ima svoje zadatke za obradu svojih podataka. Možda će se u budućnosti sve spojiti u jedan klaster, u kojem će se obrađivati svi zadaci unutar grupe.
incut
Drugi smjer je smanjenje troškova začuvanje arhivskih podataka. Njihovo pohranjivanje na Exadatu prilično je skupo. Nakon što se podaci prebace na Hadoop snagu, bit će jeftiniji, lakši za analizu i pružat će bolju izvedbu za analitičare. Trenutno su ograničeni činjenicom da je resurs dodijeljen njihovim zadacima prilično ograničen - zbog prevelikog opterećenja glavnog sustava.
Kako naslijeđeni softver može dovesti do propusta banke
U bilo kojoj banci, krajolik softvera koji se koristisoftver je vrlo raznolik. Počevši od nekih vlastitih razvoja pa sve do industrijskih rješenja koja ostaju kao naslijeđeni softver kojeg se više nije moguće riješiti. Prvobitno je izabran. Prelazak s njega na druge sustave vrlo je skup. Zbog toga ga morate stalno vući i podržavati. Naše rješenje omogućuje vam da se riješite nekih problema u sustavu korištenjem novih tehnologija.
Na primjer, pripremili smo izvješća na temeljuautomatizirani bankarski sustav. Ali imao je ograničenja - performanse i isključivo korištenje resursa pri izračunu jednog izvješća. Sukladno tome, izvedba u smislu izračuna jednog oblika tijekom vremena bila je izuzetno niska. Ponekad nam je za jednu formu trebalo i do šest sati ili više.
incut
Ne možete samo tako otići od ovakvih trenutaka:Zamjena automatiziranog sustava u banci je poput katastrofe. Ovdje postoji mnogo nijansi koje treba uzeti u obzir. Jednostavno je nemoguće migrirati s jednog softvera na drugi u jednom danu. U mojoj praksi bio je slučaj kada je banka prešla s dva ili tri automatizirana bankarska sustava smještena u regijama na jedan, koji se pak nalazio u središnjem uredu. Taj je proces trajao nekoliko mjeseci.
Također u NCC - pri provedbi ovog projektabilo je puno ljudi koji su bili uključeni. To su analitičari i financijski službenici koji su proveli analizu određenog pristupa. Osim toga, bio je uključen veliki broj tehničkog osoblja - potrebno je pripremiti infrastrukturu, implementirati i izraditi propise o održavanju.
Banke koje posluju dulje vrijeme svakako imaju legacy softver.Radio sam u četiri banke, sve su imale takav softver. Počevši od softvera napisanog pod DOS-om pa sve do velikog softvera koji više nije moguće odbiti jer je vrlo čvrsto integriran u poslovne procese. Ako ostanete na starim sustavima, produktivnost i konkurentnost financijske organizacije se smanjuje, a rizici se povećavaju—ako ne propust, onda opoziv licence.
Za banke i tvrtke koje su tek započele svojurazvoja, postoji više prostora za odabir tehnologija. Uključujući i NCC, budući da smo relativno mlada tvrtka. Softver koji se koristi gotovo posvuda je moderan.