NCC- o organizație de credit nebancară care îndeplinește funcțiile de organizație de compensare și centrală
Raportarea este mai ușoară cu date mari
Banca Rusiei solicită tuturor participanților financiari— băncile, organizațiile financiare, inclusiv NCC, raportează cu privire la activitățile lor. Ei raportează câți bani sunt în sold, cum sunt transferați în conturi individuale și câte tranzacții au avut loc. Toate acestea ar trebui pregătite și furnizate Băncii Centrale în mod regulat. Pentru a simplifica sarcina, am implementat un sistem automat bazat pe soluții de la compania Neoflex. Această companie s-a specializat de mult timp în construirea de sisteme de raportare financiară pentru autoritățile de reglementare.
Când am lucrat la Binbank, am avut de asemeneaSoluții Neoflex, dar pe tehnologii mai vechi. A fost o bază de date Oracle și toate procesarea și raportarea au fost făcute pe aceasta. Și NCC a implementat o soluție bazată pe tehnologia mare de date Hadoop, pe care o folosim ca sistem principal de stocare a datelor și de procesare a informațiilor.
Baze de date Oracle- una dintre cele mai populare baze de date din lume,folosit de liderii pieței IT - Facebook, Twitter, YouTube. De exemplu, bazele de date MySQL bazate pe soluții Oracle sunt adesea baza de date încorporată preferată, distribuită de mii de furnizori de software și producători de hardware.
Oracle Database sau Oracle RDBMS— sistem de gestionare a bazelor de date obiect-relaționaleDate Oracle. De mai bine de 40 de ani, Oracle a ajutat companiile, guvernele și alte organizații din întreaga lume să colecteze, să organizeze și să utilizeze date.
Hadoopeste un proiect open source localizatgestionat de Apache Software Foundation. Hadoop este folosit pentru calcule fiabile, scalabile și distribuite și este, de asemenea, folosit ca un depozit de fișiere de uz general, care poate găzdui petaocteți de date.
Paradigmele lui Hadoop și Oracle sunt complet diferite. Cu siguranță, puteți spune că aceasta este o evoluție ulterioară. Dar, de fapt, acest lucru merge deoparte, deoarece esența datelor mari diferă de bazele de date obișnuite. Hadoop nu implică tranzacționalism, ci ca un sistem de depozitare și de procesare a informațiilor - aceasta este soluția cea mai de succes. Costurile licenței sunt reduse. Scalabilitate foarte bună și, prin urmare, performanță ridicată.
incut
Diferitele bănci folosesc diferite forme de raportare,dar există o bază inerentă tuturor. De exemplu, NCC prezintă aproximativ 200 de formulare de raportare. Dintre acestea, în momentul de față am implementat aproximativ 20 de formulare create folosind Hadoop. Există două sisteme de surse de date. Dintre acestea, luăm date detaliate pentru raportare. Acesta este un sistem bancar automatizat. Al doilea este contrapartea centrală. Aceasta nu este pentru bănci, ci specializată pentru noi. După aceea, datele sunt agregate în Hadoop. În primul rând, ele sunt completate în forma lor originală, apoi prelucrate, curățate, pregătite, agregate - și transferate într-un strat separat. Creează un portofoliu complet de date pentru fiecare client și pentru fiecare magazin. Și pe baza Oracle este deja "wrapper", prin care obținem informații care există deja în sistem. Și, pe baza acestor date, vom întocmi rapoarte complete, adecvate pentru a fi prezentate autorităților de reglementare.
Lacul de date- depozitare centralizată, permițândstocați toate datele și structurile. Datele pot fi stocate așa cum sunt, cu diferite tipuri de analize - de la tablouri de bord și vizualizare la procesarea datelor mari, analize în timp real și învățarea automată pentru o mai bună luare a deciziilor.
"Noi dezlegăm mâinile analiștilor"
Unul dintre motivele pentru care am ales Hadoop estea existat un proiect de implementare a Data Lake în Moscow Exchange Group. Produsul este încă tânăr și în continuă evoluție. Nu numai departamentele financiare - contabilitate, de exemplu, ci și departamentele tehnice, care își vor procesa datele folosind facilitățile Hadoop - aceleași jurnalele din sistemele financiare - vor stoca datele acolo. Bursa din Moscova generează o cantitate foarte mare de date. Pentru a procesa acest lucru, bazele de date centrale standard (baze de date centrale - Hi-Tech) nu mai sunt potrivite. Pur și simplu nu pot face față acestui flux.
Soluția Data Lake simplifică această sarcină.și creșterea productivității. Acum avem raportarea Bancii Centrale, raportarea fiscala, Rosfinmonitoring va fi adaugata aici. Aceasta înseamnă stocarea unui alt tip de date. Poate pur și simplu să fie scanări ale documentelor necesare pentru impozitare. Stocarea fișierelor binare în baza de date este foarte scumpă și neînțeleasă. Prin urmare, a fost aleasă o soluție din punctul de vedere al datelor importante.
În viitor, această soluție poate avea o amploare mareviitorul. Avem un grup de companii, fiecare are propriile sarcini pentru prelucrarea datelor sale. Poate că în viitor se va uni toate într-un singur grup, în care vor fi procesate toate sarcinile din cadrul grupului.
incut
O altă direcție este reducerea costurilor ptstocarea datelor de arhivă. Stocarea lor pe Exadata este destul de costisitoare. Odată ce datele sunt migrate la puterea Hadoop, acestea vor fi mai ieftine, mai ușor de analizat și vor oferi performanțe mai bune pentru analiști. În acest moment, aceștia sunt limitati de faptul că resursele alocate pentru sarcinile lor sunt destul de înguste - din cauza încărcării excesive a sistemului principal.
Modul în care software-ul moștenitor poate duce la defaimarea bancară
În orice bancă, peisajul software-ului folositsoftware-ul este foarte divers. Pornind de la unele dintre propriile noastre dezvoltări și terminând cu soluții industriale care rămân ca software moștenit de care nu mai poate fi scăpat. El a fost ales inițial. Trecerea de la acesta la alte sisteme este foarte costisitoare. Din această cauză, trebuie să-l tragi și să-l susții constant. Soluția noastră vă permite să scăpați de unele probleme de sistem prin utilizarea noilor tehnologii.
De exemplu, am pregătit rapoarte pe bazasistem bancar automatizat. Dar a avut limitări - performanța și utilizarea exclusivă a resurselor la calcularea unui raport. În consecință, performanța în ceea ce privește calcularea unei forme în timp a fost extrem de scăzută. Uneori, o formă ne lua până la șase ore sau mai mult.
incut
Nu poți să scapi de momente ca acestea:Înlocuirea unui sistem automatizat într-o bancă este ca un dezastru. Există o mulțime de nuanțe aici care trebuie luate în considerare. Este pur și simplu imposibil să migrezi de la un software la altul într-o zi. În practica mea, a existat un caz când o bancă a trecut de la două sau trei sisteme bancare automatizate situate în regiuni la unul singur, care, la rândul său, era situat în sediul central. Acest proces a durat câteva luni.
Tot în NCC - la implementarea acestui proiectau fost implicați mulți oameni. Aceștia sunt analiști și agenți financiari care au efectuat o analiză a unei anumite abordări. În plus, a fost implicat un număr mare de personal tehnic - este necesară pregătirea infrastructurii, implementarea și crearea reglementărilor de întreținere.
Băncile care funcționează de mult timp au cu siguranță software moștenit.Am lucrat în patru bănci, toate aveau astfel de software. Începând cu software-ul scris sub DOS și terminând cu un software mare care nu mai este posibil de refuzat, deoarece este foarte puternic integrat în procesele de afaceri. Dacă rămâneți pe sisteme vechi, productivitatea și competitivitatea unei organizații financiare scade, iar riscurile cresc – dacă nu implicit, atunci revocarea licenței.
Pentru bănci și companii care tocmai și-au începutdezvoltare, există mai mult spațiu pentru alegerea tehnologiilor. Inclusiv NCC, deoarece suntem o companie relativ tânără. Software-ul folosit aproape peste tot este modern.