NCC- nebankinė kredito organizacija, atliekanti tarpuskaitos organizacijos ir centrinės funkcijas
Ataskaitų teikimas yra paprastesnis su dideliais duomenimis
Rusijos bankas reikalauja visų finansinių dalyvių— bankai, finansinės organizacijos, įskaitant VKEKK, atsiskaito apie savo veiklą. Jie praneša, kiek pinigų yra likute, kaip jie pervedami į asmenines sąskaitas ir kiek operacijų įvyko. Visa tai turėtų būti ruošiama ir reguliariai teikiama Centriniam bankui. Norėdami supaprastinti užduotį, įdiegėme automatinę sistemą, pagrįstą Neoflex bendrovės sprendimais. Ši įmonė jau seniai specializuojasi kuriant finansinės atskaitomybės sistemas reguliavimo institucijoms.
Kai dirbau „Binbank“, mes taip pat turėjomeNeoflex sprendimai, bet senesnės technologijos. Tai buvo „Oracle“ duomenų bazė, o visa apdorojimo ir ataskaitų teikimo procedūra buvo atlikta. Ir NCC įdiegė didelės duomenų Hadoop technologijos sprendimą, kurį naudojame kaip pagrindinę duomenų saugojimo ir informacijos apdorojimo sistemą.
„Oracle“ duomenų bazės- viena populiariausių duomenų bazių pasaulyje,naudojasi IT rinkos lyderiai – Facebook, Twitter, YouTube. Pavyzdžiui, „MySQL“ duomenų bazės, pagrįstos „Oracle“ sprendimais, dažnai yra pasirinkta įterptoji duomenų bazė, kurią platina tūkstančiai programinės įrangos pardavėjų ir techninės įrangos gamintojų.
„Oracle“ duomenų bazė arba „Oracle RDBMS“— objektų ir ryšių duomenų bazių valdymo sistemaOracle duomenys. Daugiau nei 40 metų „Oracle“ padėjo įmonėms, vyriausybėms ir kitoms organizacijoms visame pasaulyje rinkti, tvarkyti ir naudoti duomenis.
Hadoopyra atviro kodo projektasvaldo Apache Software Foundation. „Hadoop“ naudojama patikimam, keičiamam ir paskirstytam skaičiavimui, taip pat naudojama kaip bendrosios paskirties failų saugykla, kurioje galima talpinti petabaitus duomenų.
„Hadoop“ ir „Oracle“ paradigmos yra visiškai skirtingos. Jūs tikrai galite pasakyti, kad tai yra tolesnis vystymasis. Tačiau iš tikrųjų tai vengiama, nes labai didelių duomenų esmė skiriasi nuo įprastų duomenų bazių. „Hadoop“ nereiškia sandorių, tačiau kaip saugykla ir informacijos apdorojimo sistema - tai pats sėkmingiausias sprendimas. Licencijos išlaidos sumažinamos. Labai geras mastelio keitimas ir, atitinkamai, didelis našumas.
Šoninė juosta
Įvairūs bankai naudoja skirtingas ataskaitų formas,bet yra pagrindinė visiems būdinga. Pavyzdžiui, VKEKK pateikia apie 200 ataskaitų formų. Šiuo metu įgyvendinome apie 20 formų, sukurtų naudojant „Hadoop“. Yra dvi duomenų šaltinių sistemos. Iš jų mes pateikiame išsamius duomenis ataskaitoms. Tai automatizuota bankų sistema. Antroji yra pagrindinė sandorio šalis. Tai ne bankams, bet mums specializuotiems. Po to duomenys yra sujungti į „Hadoop“. Pirma, jie yra užpildyti jų pradine forma, tada apdorojami, valomi, paruošiami, sujungiami ir perkeliami į atskirą sluoksnį. Jis sukuria pilną duomenų portfelį kiekvienam klientui ir kiekvienai parduotuvės vietai. „Oracle“ pagrindu jau yra „įvynioklis“, per kurį mes gauname informaciją, kuri jau egzistuoja pačioje sistemoje. Remiantis šiais duomenimis, mes rengiame išsamias ataskaitas, tinkamas pateikti reguliavimo institucijoms.
Duomenų ežeras- centralizuotas sandėliavimas, leidžiantissaugoti visus duomenis ir struktūras. Duomenys gali būti saugomi tokius, kokie jie yra, naudojant įvairių tipų analizę – nuo prietaisų skydelių ir vizualizacijos iki didelių duomenų apdorojimo, realiojo laiko analizės ir mašininio mokymosi, kad būtų lengviau priimti sprendimus.
„Atšaukiame analitikų rankas“
Viena iš priežasčių, kodėl pasirinkome Hadoop, yrabuvo projektas „Data Lake“ įgyvendinti Maskvos biržų grupėje. Produktas vis dar jaunas ir nuolat tobulinamas. Ten duomenis saugos ne tik finansų skyriai – pavyzdžiui, buhalterinė apskaita, bet ir techniniai skyriai, kurie savo duomenis tvarkys naudodami „Hadoop“ priemones – tuos pačius žurnalus iš finansinių sistemų. Maskvos birža generuoja labai daug duomenų. Norint tai apdoroti, standartinės centrinės duomenų bazės (centrinės duomenų bazės - Hi-Tech) nebetinka. Jie tiesiog negali susidoroti su šiuo srautu.
„Data Lake“ sprendimas supaprastina šią užduotį.didinti produktyvumą. Dabar mes turime centrinio banko ataskaitas, mokesčių ataskaitas, „Rosfinmonitoring“ bus pridėta čia. Tai reiškia kito tipo duomenų saugojimą. Tai gali būti tik dokumentų, reikalingų apmokestinti, nuskaitymas. Laikyti dvejetainius failus į duomenų bazę yra labai brangus ir neprotingas. Todėl sprendimas buvo pasirinktas didelių duomenų požiūriu.
Ateityje šis sprendimas yra galimasateityje. Mes turime įmonių grupę, kiekvienas turi savo užduotis, skirtas duomenų tvarkymui. Galbūt ateityje viskas bus sujungta į vieną grupę, kurioje bus tvarkomos visos grupės užduotys.
Šoninė juosta
Kita kryptis – išlaidų mažinimasarchyvinių duomenų saugojimas. Saugoti juos „Exadata“ yra gana brangu. Kai duomenys bus perkelti į „Hadoop power“, jie bus pigesni, lengviau analizuojami ir suteiks geresnį našumą analitikams. Šiuo metu juos riboja tai, kad jų užduotims atlikti skiriami resursai yra gana siauri – dėl per didelės pagrindinės sistemos apkrovos.
Kaip senoji programinė įranga gali sukelti banko įsipareigojimų nevykdymą
Bet kuriame banke naudojamos programinės įrangos kraštovaizdisprograminė įranga yra labai įvairi. Pradedant nuo kai kurių mūsų pačių sukurtų ir baigiant pramoniniais sprendimais, kurie lieka kaip sena programinė įranga, kurios nebegalima atsikratyti. Iš pradžių jis buvo pasirinktas. Perėjimas iš jo į kitas sistemas yra labai brangus. Dėl to jūs turite nuolat jį traukti ir palaikyti. Mūsų sprendimas leidžia jums atsikratyti kai kurių sistemos problemų naudojant naujas technologijas.
Pavyzdžiui, mes parengėme ataskaitas pagalautomatizuota bankų sistema. Tačiau ji turėjo apribojimų – našumą ir išskirtinį išteklių panaudojimą skaičiuojant vieną ataskaitą. Atitinkamai, vienos formos skaičiavimo našumas laikui bėgant buvo labai mažas. Kartais viena forma užtrukdavo iki šešių valandų ar daugiau.
Šoninė juosta
Negalite tiesiog pabėgti nuo tokių akimirkų:Automatizuotos sistemos pakeitimas banke yra tarsi nelaimė. Čia yra daug niuansų, į kuriuos reikia atsižvelgti. Per vieną dieną tiesiog neįmanoma pereiti iš vienos programinės įrangos į kitą. Mano praktikoje buvo atvejis, kai bankas iš dviejų ar trijų regionuose esančių automatizuotų bankininkystės sistemų perėjo į vieną, kuri savo ruožtu buvo pagrindinėje buveinėje. Šis procesas truko kelis mėnesius.
Taip pat NCC - įgyvendinant šį projektądalyvavo daug žmonių. Tai yra analitikai ir finansų pareigūnai, kurie atliko konkretaus požiūrio analizę. Be to, dalyvavo daug techninio personalo - būtina parengti infrastruktūrą, diegti ir sukurti techninės priežiūros taisykles.
Ilgą laiką veikiantys bankai tikrai turi seną programinę įrangą.Dirbau keturiuose bankuose, visi turėjo tokią programinę įrangą. Pradedant programine įranga, parašyta DOS, ir baigiant didele programine įranga, kurios nebeįmanoma atsisakyti, nes ji labai stipriai integruota į verslo procesus. Jei liekate naudoti senas sistemas, finansinės organizacijos produktyvumas ir konkurencingumas mažėja, o rizika didėja – jei ne įsipareigojimai, tai licencijos atšaukimas.
Bankams ir įmonėms, kurios ką tik pradėjo savo veikląplėtra, yra daugiau galimybių rinktis technologijas. Įskaitant ir NCC, nes esame gana jauna įmonė. Beveik visur naudojama programinė įranga yra moderni.