NCC- nebanku kredītorganizācija, kas veic klīringa organizācijas un centrālās funkcijas
Ziņojumi ir vieglāki, izmantojot lielus datus
Krievijas Banka pieprasa visus finanšu dalībniekus— bankas, finanšu organizācijas, tostarp NKC, ziņo par savu darbību. Viņi ziņo, cik naudas ir bilancē, kā tā tiek pārskaitīta uz individuālajiem kontiem un cik daudz darījumu ir notikuši. Tas viss regulāri jāsagatavo un jāsniedz Centrālajai bankai. Lai vienkāršotu uzdevumu, mēs ieviesām automātisku sistēmu, kuras pamatā ir uzņēmuma Neoflex risinājumi. Šis uzņēmums jau sen ir specializējies finanšu pārskatu sistēmu izveidē pārvaldes iestādēm.
Kad es strādāju Binbankā, mums bija arīNeoflex risinājumi, bet gan vecākas tehnoloģijas. Tā bija Oracle datu bāze, un visa apstrāde un ziņošana tika veikta tajā. Un NCC ieviesa risinājumu, kura pamatā ir liela datu Hadoop tehnoloģija, kuru mēs izmantojam kā galveno datu glabāšanas un informācijas apstrādes sistēmu.
Oracle datu bāzes- viena no populārākajām datu bāzēm pasaulē,izmanto IT tirgus līderi – Facebook, Twitter, YouTube. Piemēram, MySQL datu bāzes, kuru pamatā ir Oracle risinājumi, bieži vien ir iegultā datubāze, ko izplata tūkstošiem programmatūras pārdevēju un aparatūras ražotāju.
Oracle datu bāze vai Oracle RDBMS— objektu relāciju datu bāzes pārvaldības sistēmaOracle dati. Vairāk nekā 40 gadus Oracle ir palīdzējis uzņēmumiem, valdībām un citām organizācijām visā pasaulē vākt, kārtot un izmantot datus.
Hadoopir atvērtā koda projekts, kas atrodaspārvalda Apache Software Foundation. Hadoop tiek izmantota uzticamai, mērogojamai un izplatītai skaitļošanai, kā arī tiek izmantota kā vispārējas nozīmes failu krātuve, kurā var ievietot datu petabaitus.
Hadunas un Oracle paradigmas ir pilnīgi atšķirīgas. Jūs noteikti varat teikt, ka tā ir turpmāka attīstība. Bet patiesībā tas notiek malā, jo lielo datu būtība atšķiras no parastajām datubāzēm. Hadoop nenozīmē transakcionismu, bet kā repozitoriju un informācijas apstrādes sistēmu - tas ir visveiksmīgākais risinājums. Licences izmaksas tiek samazinātas. Ļoti laba mērogojamība un attiecīgi arī augsta veiktspēja.
Sānjosla
Dažādas bankas izmanto dažādus ziņošanas veidus,bet visiem ir pamata iezīme. Piemēram, VKC iesniedz aptuveni 200 ziņojuma veidlapas. Pašlaik mēs esam ieviesuši apmēram 20 veidlapas, kas izveidotas, izmantojot Hadoop. Ir divas datu avotu sistēmas. No tiem mēs veicam detalizētus datus ziņošanai. Tā ir automatizēta banku sistēma. Otrais ir galvenais darījumu partneris. Tas nav bankām, bet mums ir specializējies. Pēc tam dati tiek apkopoti Hadoop. Pirmkārt, tie tiek aizpildīti to sākotnējā formā, pēc tam apstrādāti, iztīrīti, sagatavoti, apkopoti un pārvietoti uz atsevišķu slāni. Tas rada pilnīgu datu portfeli katram klientam un katram veikalam. Un, pamatojoties uz Oracle, jau ir "iesaiņojums", caur kuru mēs iegūstam informāciju, kas jau pastāv sistēmā. Pamatojoties uz šiem datiem, mēs izveidojam pilntiesīgus ziņojumus, kas ir piemēroti iesniegšanai pārvaldes iestādēm.
Datu ezers- centralizēta uzglabāšana, ļaujotuzglabāt visus datus un struktūras. Datus var uzglabāt tieši tādus, kādi tie ir, izmantojot dažāda veida analīzi — no informācijas paneļiem un vizualizācijas līdz lielo datu apstrādei, reāllaika analītikai un mašīnmācībai labākai lēmumu pieņemšanai.
„Mēs atdalām analītiķu rokas”
Viens no iemesliem, kāpēc mēs izvēlējāmies Hadoop, irbija projekts Data Lake ieviešanai Maskavas biržas grupā. Produkts joprojām ir jauns un pastāvīgi attīstās. Tur ne tikai finanšu nodaļas glabās datus – piemēram, grāmatvedību, bet arī tehniskās nodaļas, kas apstrādās savus datus, izmantojot Hadoop iespējas – tos pašus žurnālus no finanšu sistēmām. Maskavas birža ģenerē ļoti lielu datu apjomu. Lai to apstrādātu, standarta centrālās datu bāzes (centrālās datu bāzes - Hi-Tech) vairs nav piemērotas. Viņi vienkārši nevar tikt galā ar šo plūsmu.
Data Lake risinājums vienkāršo šo uzdevumu.produktivitāti. Tagad mums ir Centrālās bankas pārskati, nodokļu pārskati, Rosfinmonitoring tiks pievienoti šeit. Tas nozīmē cita veida datu uzglabāšanu. Tas var būt tikai nodokļu pieprasīšanai nepieciešamo dokumentu skenēšana. Uzglabāt bināros failus datubāzē ir ļoti dārgi un neprātīgi. Tāpēc risinājums tika izvēlēts no lielo datu viedokļa.
Nākotnē šim risinājumam var būt lielsnākotnē. Mums ir uzņēmumu grupa, katram ir savi uzdevumi datu apstrādei. Varbūt nākotnē tas viss tiks apvienots vienā klasterī, kurā tiks apstrādāti visi grupas uzdevumi.
Sānjosla
Vēl viens virziens ir izmaksu samazināšanaarhīva datu uzglabāšana. To glabāšana Exadata ir diezgan dārga. Kad dati tiks migrēti uz Hadoop power, tie būs lētāki, vieglāk analizējami un nodrošinās labāku veiktspēju analītiķiem. Šobrīd tos ierobežo fakts, ka viņu uzdevumiem atvēlētais resurss ir visai šaurs – pamatsistēmas pārmērīgās slodzes dēļ.
Kā mantojuma programmatūra var novest pie bankas noklusējuma
Jebkurā bankā izmantotās programmatūras ainavaprogrammatūra ir ļoti dažāda. Sākot ar dažiem mūsu pašu izstrādātajiem risinājumiem un beidzot ar rūpnieciskiem risinājumiem, kas paliek kā mantota programmatūra, no kuras vairs nevar atbrīvoties. Sākotnēji viņš tika izvēlēts. Pārslēgšanās no tās uz citām sistēmām ir ļoti dārga. Šī iemesla dēļ jums viņš pastāvīgi jāvelk un jāatbalsta. Mūsu risinājums ļauj atbrīvoties no dažām sistēmas problēmām, izmantojot jaunas tehnoloģijas.
Piemēram, mēs sagatavojām atskaites, pamatojoties uzautomatizēta banku sistēma. Taču tam bija ierobežojumi – veiktspēja un ekskluzīva resursu izmantošana, aprēķinot vienu atskaiti. Attiecīgi vienas formas aprēķināšanas veiktspēja laika gaitā bija ārkārtīgi zema. Dažreiz viena veidlapa aizņēma līdz sešām stundām vai vairāk.
Sānjosla
Jūs nevarat vienkārši aiziet no tādiem mirkļiem kā šis:Automatizētās sistēmas nomaiņa bankā ir kā katastrofa. Šeit ir daudz nianšu, kas jāņem vērā. Vienā dienā vienkārši nav iespējams pāriet no vienas programmatūras uz citu. Manā praksē bija gadījums, kad banka pārgāja no divām vai trim automatizētajām banku sistēmām, kas atrodas reģionos, uz vienu, kas, savukārt, atradās galvenajā birojā. Šis process ilga vairākus mēnešus.
Arī NCC - īstenojot šo projektubija daudz cilvēku. Tie ir analītiķi un finanšu darbinieki, kas veica konkrētas pieejas analīzi. Turklāt bija iesaistīts liels skaits tehniskā personāla - nepieciešams sagatavot infrastruktūru, izvietot un izveidot uzturēšanas noteikumus.
Bankām, kas darbojas jau ilgu laiku, noteikti ir mantota programmatūra.Strādāju četrās bankās, visās bija tāda programmatūra. Sākot ar programmatūru, kas rakstīta zem DOS, un beidzot ar lielu programmatūru, no kuras vairs nav iespējams atteikties, jo tā ir ļoti stingri integrēta biznesa procesos. Ja paliekat pie vecām sistēmām, finanšu organizācijas produktivitāte un konkurētspēja samazinās, un palielinās riski — ja ne noklusējuma, tad licences atsaukšana.
Bankām un uzņēmumiem, kas tikko uzsākuši savuattīstība, ir lielākas iespējas izvēlēties tehnoloģijas. Tostarp NCC, jo esam salīdzinoši jauns uzņēmums. Gandrīz visur izmantotā programmatūra ir moderna.