NCC- elszámolószervezeti és központi funkciókat ellátó nem banki hitelintézet
A jelentéstétel nagy adatokkal könnyebb
Az Orosz Banknak minden pénzügyi résztvevőre szüksége van— a bankok, pénzügyi szervezetek, köztük az NCC, beszámolnak tevékenységükről. Beszámolnak arról, hogy mennyi pénz van az egyenlegen, hogyan utalják át az egyéni számlákra, és hány tranzakció történt. Mindezt rendszeresen elő kell készíteni és a Központi Bank rendelkezésére bocsátani. A feladat egyszerűsítése érdekében a Neoflex cég megoldásaira épülő automata rendszert vezettünk be. Ez a cég régóta szakosodott pénzügyi beszámolási rendszerek kiépítésére a szabályozó hatóságok számára.
Amikor a Binbankban dolgoztam, mi is voltNeoflex megoldások, de régebbi technológiák. Ez egy Oracle adatbázis volt, és minden feldolgozás és jelentéskészítés rajta történt. És az NCC nagy adat-Hadoop technológián alapuló megoldást valósított meg, amelyet a fő adattárolási és információfeldolgozó rendszerként használunk.
Oracle adatbázisok- a világ egyik legnépszerűbb adatbázisa,IT piacvezetők használják – Facebook, Twitter, YouTube. Például az Oracle megoldásokon alapuló MySQL-adatbázisok gyakran a választott beágyazott adatbázisok, amelyeket szoftvergyártók és hardvergyártók ezrei terjesztenek.
Oracle Database vagy Oracle RDBMS— objektum-relációs adatbázis-kezelő rendszerOracle adatok. Az Oracle több mint 40 éve segíti a vállalatokat, kormányokat és más szervezeteket világszerte az adatok gyűjtésében, rendszerezésében és felhasználásában.
Hadoopegy nyílt forráskódú projekt találhatóaz Apache Software Foundation kezeli. A Hadoop megbízható, méretezhető és elosztott számítástechnikára szolgál, és általános célú fájltárolóként is használható, amely petabájtnyi adat tárolására alkalmas.
A Hadoop és az Oracle paradigmái teljesen másak. Bizonyára mondhatjuk, hogy ez egy további fejlesztés. De valójában ez félretesz, mert a nagy adatok lényege különbözik a hagyományos adatbázisoktól. A Hadoop nem jelent tranzakciót, hanem tároló- és információfeldolgozó rendszerként - ez a legsikeresebb megoldás. Az engedélyköltségek csökkennek. Nagyon jó skálázhatóság és ennek megfelelően nagy teljesítmény.
betoldott
A különböző bankok különböző jelentési formákat használnak,de mindenki számára alapvető. Például az NCC mintegy 200 jelentési űrlapot nyújt be. Ezek közül körülbelül 20 formát hoztunk létre a Hadoop használatával. Két adatforrásrendszer létezik. Ezekből részletes adatokat készítünk a jelentésekhez. Ez egy automatizált bankrendszer. A második a központi szerződő fél. Ez nem a bankok, hanem számunkra szakosodott. Ezután az adatokat Hadoop-ba gyűjtjük. Először az eredeti formában töltik ki, majd feldolgozzák, tisztítják, előkészítik, aggregálják, és egy külön rétegbe helyezik át őket. Teljes adatportfóliót hoz létre minden ügyfélnek és minden üzlethelynek. És az Oracle alapján már „burkoló”, amelyen keresztül a rendszerben már létező információt kapunk. Ezen adatok alapján teljes körű jelentéseket készítünk a szabályozó hatóságoknak történő benyújtásra.
Adat tó- központi tárolás, lehetővé tévetárolja az összes adatot és struktúrát. Az adatok úgy tárolhatók, ahogy vannak, különféle típusú elemzésekkel – az irányítópultoktól és a vizualizációtól a nagy adatfeldolgozásig, a valós idejű elemzésig és a gépi tanulásig a jobb döntéshozatal érdekében.
„Elemeztük az elemzők kezeit”
Az egyik ok, amiért a Hadoop mellett döntöttünk, azvolt egy projekt a Data Lake megvalósítására a moszkvai Exchange-csoportban. A termék még fiatal és folyamatosan fejlődik. Nemcsak a pénzügyi osztályok tárolják majd az adatokat – például a könyvelést –, hanem a műszaki osztályok is, amelyek a Hadoop szolgáltatásaival dolgozzák fel adataikat – ugyanazokat a naplókat a pénzügyi rendszerekről. A moszkvai tőzsde nagyon nagy mennyiségű adatot generál. Ennek feldolgozására a szabványos központi adatbázisok (központi adatbázisok - Hi-Tech) már nem alkalmasak. Egyszerűen nem tudnak megbirkózni ezzel az áramlással.
A Data Lake megoldás megkönnyíti ezt a feladatot.növeli a termelékenységet. Most már a Központi Bank beszámolója van, ide tartozik az adójelentés, a Rosfinmonitoring. Ez egy másik típusú adat tárolását jelenti. Ez egyszerűen lehet az adózáshoz szükséges dokumentumok szkennelése. Bináris fájlok tárolása az adatbázisban nagyon drága és bölcs. Ezért a nagy adatok szempontjából megoldást választottak.
A jövőben ez a megoldás nagy leheta jövőben. Van egy cégcsoportunk, mindegyiknek saját feladatai vannak az adatok feldolgozásában. Talán a jövőben minden egyesül egy klaszterbe, amelyben a csoporton belüli összes feladat feldolgozása megtörténik.
betoldott
Egy másik irány a költségek csökkentésearchív adatok tárolása. Az Exadatán való tárolásuk meglehetősen drága. Az adatok Hadoop power rendszerbe való áttelepítése után olcsóbbá, könnyebben elemezhetővé válnak, és jobb teljesítményt nyújtanak az elemzők számára. Jelenleg az a tény korlátozza őket, hogy a feladataikra elkülönített erőforrás meglehetősen szűkös - a fő rendszer túlzott terhelése miatt.
Hogyan vezethet az örökölt szoftver banki alapértelmezéshez
Bármely bank, a táj a használt szoftvereka szoftverek nagyon változatosak. Kezdve néhány saját fejlesztésünkkel és befejezve az ipari megoldásokkal, amelyek örökölt szoftverként maradnak meg, amelyektől már nem lehet megszabadulni. Eredetileg őt választották. Róla más rendszerre váltani nagyon drága. Emiatt folyamatosan húznod és támogatnod kell őt. Megoldásunk lehetővé teszi, hogy új technológiák alkalmazásával megszabaduljon bizonyos rendszerproblémáktól.
Pl. alapján készítettünk jelentéseketautomatizált bankrendszer. De voltak korlátai – a teljesítmény és az erőforrások kizárólagos felhasználása egyetlen jelentés kiszámításakor. Ennek megfelelően egy alakzat időbeli kiszámításának teljesítménye rendkívül alacsony volt. Néha egy űrlap hat órát vagy többet is igénybe vett.
betoldott
Nem hagyhatod el az ilyen pillanatokat:Egy bank automatizált rendszerének cseréje olyan, mint egy katasztrófa. Itt nagyon sok árnyalatot kell figyelembe venni. Egyszerűen lehetetlen egy nap alatt áttérni egyik szoftverről a másikra. Az én gyakorlatomban előfordult, hogy egy bank a régiókban található két-három automatizált bankrendszerről egyetlen bankrendszerre váltott, amely viszont a központi irodában volt. Ez a folyamat több hónapig tartott.
Az NCC-ben is - a projekt megvalósításakorsokan voltak benne. Ezek elemzők és pénzügyi tisztek, akik egy adott megközelítés elemzését végzik. Emellett nagyszámú technikai személyzet is részt vett - az infrastruktúra előkészítése, karbantartási előírások bevezetése és létrehozása szükséges.
A régóta működő bankok minden bizonnyal rendelkeznek örökölt szoftverekkel.Négy bankban dolgoztam, mindegyikben volt ilyen szoftver. Kezdve a DOS alatt írt szoftverekkel és befejezve a nagy szoftverekkel, amelyeket már nem lehet visszautasítani, mivel nagyon erősen beépültek az üzleti folyamatokba. Ha marad a régi rendszereken, csökken a pénzügyi szervezet termelékenysége és versenyképessége, nőnek a kockázatok – ha nem alapértelmezett, akkor licenc visszavonás.
Olyan bankok és cégek számára, amelyek most kezdték elfejlesztés, nagyobb mozgástér nyílik a technológiák kiválasztására. Beleértve az NCC-t is, mivel viszonylag fiatal cég vagyunk. A szinte mindenhol használt szoftver modern.