NCC- nebanková úverová organizácia, ktorá plní funkcie zúčtovacej organizácie a centrály
Hlásenie je jednoduchšie s veľkými dátami
Ruská banka vyžaduje všetkých finančných účastníkov— banky, finančné organizácie vrátane NCC podávajú správy o svojej činnosti. Informujú o tom, koľko peňazí je na zostatku, ako sú prevedené na jednotlivé účty a koľko transakcií prebehlo. Toto všetko by sa malo pravidelne pripravovať a poskytovať centrálnej banke. Pre zjednodušenie sme implementovali automatický systém založený na riešeniach od spoločnosti Neoflex. Táto spoločnosť sa dlhodobo špecializuje na budovanie systémov finančného výkazníctva pre regulačné orgány.
Keď som pracoval v Binbank, mali sme tiežRiešenia Neoflex, ale na starších technológiách. Bola to databáza Oracle a všetko spracovanie a reportovanie na nej bolo vykonané. NCC implementovalo riešenie založené na veľkej technológii data-Hadoop, ktorú používame ako hlavný systém na ukladanie dát a spracovanie informácií.
Databázy Oracle- jedna z najpopulárnejších databáz na svete,používajú lídri IT trhu – Facebook, Twitter, YouTube. Napríklad databázy MySQL založené na riešeniach Oracle sú často vybranou vstavanou databázou, ktorú distribuujú tisíce predajcov softvéru a výrobcov hardvéru.
Oracle Database alebo Oracle RDBMS— objektovo-relačný systém správy databázÚdaje Oracle. Spoločnosť Oracle už viac ako 40 rokov pomáha spoločnostiam, vládam a iným organizáciám na celom svete zhromažďovať, organizovať a používať údaje.
Hadoopje umiestnený projekt s otvoreným zdrojovým kódomspravované nadáciou Apache Software Foundation. Hadoop sa používa na spoľahlivé, škálovateľné a distribuované výpočty a používa sa aj ako úložisko súborov na všeobecné použitie, ktoré môže obsahovať petabajty údajov.
Paradigmy Hadoop a Oracle sú úplne odlišné. Samozrejme, môžete povedať, že ide o ďalší vývoj. Ale v skutočnosti to ide stranou, pretože podstata veľkých dát sa líši od bežných databáz. Hadoop neznamená transakcionalizmus, ale ako repozitár a systém spracovania informácií je to najlepšie riešenie. Náklady na licencie sa znižujú. Veľmi dobrá škálovateľnosť, a teda vysoký výkon.
incut
Rôzne banky používajú rôzne formy vykazovania,ale sú základné, neodmysliteľné pre všetkých. Napríklad NCC predkladá približne 200 formulárov hlásení. Z nich sme v súčasnosti implementovali asi 20 formulárov vytvorených pomocou Hadoop. Existujú dva systémy zdrojov údajov. Z nich zbierame podrobné údaje pre reporting. Ide o automatizovaný bankový systém. Druhou je centrálna protistrana. To nie je pre banky, ale špecializované pre nás. Potom sa údaje agregujú do Hadoopu. Po prvé, sú naplnené v pôvodnej forme, potom spracované, vyčistené, pripravené, agregované - a prenesené do samostatnej vrstvy. Vytvára kompletné dátové portfólio pre každého klienta a pre každú predajňu. A na základe Oracle je už "wrapper", prostredníctvom ktorého získavame informácie, ktoré už v systéme existujú. Na základe týchto údajov vytvárame plnohodnotné správy, ktoré sú vhodné na predloženie regulačným orgánom.
Dátové jazero- centralizované skladovanie, umožňujúceukladať všetky dáta a štruktúry. Dáta môžu byť uložené tak, ako sú, s rôznymi typmi analytiky – od informačných panelov a vizualizácie po spracovanie veľkých dát, analýzy v reálnom čase a strojové učenie pre lepšie rozhodovanie.
"Rozvádzame ruky analytikov"
Jedným z dôvodov, prečo sme si vybrali Hadoop, jeexistoval projekt implementácie Data Lake v skupine Moscow Exchange Group. Produkt je stále mladý a neustále sa vyvíja. Údaje tam budú ukladať nielen finančné oddelenia - napríklad účtovníctvo, ale aj technické oddelenia, ktoré budú spracovávať svoje údaje pomocou zariadení Hadoop - rovnaké protokoly z finančných systémov. Moskovská burza generuje veľmi veľké množstvo údajov. Aby sme to mohli spracovať, štandardné centrálne databázy (centrálne databázy - Hi-Tech) už nie sú vhodné. S týmto prúdom sa jednoducho nedokážu vyrovnať.
Riešenie Data Lake zjednodušuje túto úlohu.a zvýšiť produktivitu. Teraz máme správy centrálnej banky, daňové priznanie, Rosfinmonitoring bude pridaný tu. To znamená uloženie iného typu údajov. Môže to byť len skenovanie dokumentov potrebných pre daň. Skladovanie binárnych súborov v databáze je veľmi drahé a nerozumné. Preto bolo vybrané riešenie z hľadiska veľkých dát.
V budúcnosti je toto riešenie možnébudúcnosti. Máme skupinu spoločností, z ktorých každá má svoje vlastné úlohy na spracovanie svojich údajov. Možno, že v budúcnosti to všetko bude zlúčené do jedného klastra, v ktorom budú spracované všetky úlohy v rámci skupiny.
incut
Ďalším smerom je znižovanie nákladovuchovávanie archívnych údajov. Ich ukladanie na Exadata je dosť drahé. Po migrácii údajov na napájanie Hadoop budú lacnejšie, ľahšie sa analyzujú a analytikom poskytnú lepší výkon. V súčasnosti sú limitovaní skutočnosťou, že zdroje vyčlenené na ich úlohy sú dosť úzke - kvôli nadmernému zaťaženiu hlavného systému.
Ako môže starší softvér viesť k bankovému predvoleniu
V každej banke, krajina používa softvérsoftvér je veľmi rôznorodý. Počnúc niektorými z našich vlastných vývojov a končiac priemyselnými riešeniami, ktoré zostávajú ako starý softvér, ktorého sa už nemožno zbaviť. Pôvodne bol vybraný. Prechod z neho na iné systémy je veľmi nákladný. Z tohto dôvodu ho musíte neustále ťahať a podporovať. Naše riešenie vám umožňuje zbaviť sa niektorých systémových problémov pomocou nových technológií.
Pripravili sme napríklad správy na základeautomatizovaný bankový systém. Malo to však obmedzenia – výkon a výhradné využitie zdrojov pri výpočte jedného prehľadu. V súlade s tým bol výkon z hľadiska výpočtu jedného tvaru v priebehu času extrémne nízky. Niekedy nám jedna forma trvala aj šesť a viac hodín.
incut
Z momentov ako je tento, nemôžete len tak odísť:Výmena automatizovaného systému v banke je ako katastrofa. Je tu veľa nuancií, ktoré je potrebné vziať do úvahy. Je jednoducho nemožné migrovať z jedného softvéru na druhý za jeden deň. V mojej praxi sa vyskytol prípad, keď banka prešla z dvoch alebo troch automatizovaných bankových systémov umiestnených v regiónoch na jeden, ktorý bol zasa umiestnený v centrále. Tento proces trval niekoľko mesiacov.
Aj v NCC - pri realizácii tohto projektubolo zapojených veľa ľudí. Sú to analytici a finanční úradníci, ktorí vykonali analýzu konkrétneho prístupu. Okrem toho bol zapojený veľký počet technických pracovníkov - je potrebné pripraviť infraštruktúru, nasadiť a vytvoriť predpisy o údržbe.
Banky, ktoré fungujú už dlho, určite majú starší softvér.Pracoval som v štyroch bankách, všetky mali takýto softvér. Počnúc softvérom napísaným pod DOSom a končiac veľkým softvérom, ktorý už nie je možné odmietnuť, keďže je veľmi silne integrovaný do obchodných procesov. Ak zostanete na starých systémoch, produktivita a konkurencieschopnosť finančnej organizácie sa zníži a riziká sa zvýšia – ak nie predvolené, potom zrušenie licencie.
Pre banky a spoločnosti, ktoré práve začali svojerozvoj, je tu väčší priestor na výber technológií. Vrátane NCC, keďže sme relatívne mladá firma. Softvér používaný takmer všade je moderný.