NCC- nebankovní úvěrová organizace, která plní funkce clearingové organizace a centrály
Hlášení je jednodušší s velkými daty
Ruská banka vyžaduje všechny finanční účastníky— banky, finanční organizace včetně NCC podávají zprávy o své činnosti. Hlásí, kolik peněz je na zůstatku, jak jsou převedeny na jednotlivé účty a kolik transakcí se uskutečnilo. To vše by mělo být pravidelně připravováno a poskytovány centrální bance. Pro zjednodušení jsme implementovali automatický systém založený na řešeních od společnosti Neoflex. Tato společnost se dlouhodobě specializuje na budování systémů účetního výkaznictví pro regulační orgány.
Když jsem pracoval v Binbank, měli jsme takéŘešení Neoflex, ale na starší technologie. Jednalo se o databázi Oracle a veškeré zpracování a reportování na ní bylo provedeno. NCC implementovalo řešení založené na velké datové technologii Hadoop, kterou používáme jako hlavní systém pro ukládání dat a zpracování informací.
Databáze Oracle- jedna z nejpopulárnějších databází na světě,používají lídři IT trhu – Facebook, Twitter, YouTube. Například databáze MySQL založené na řešeních Oracle jsou často vybranou vestavěnou databází distribuovanou tisíci dodavatelů softwaru a výrobců hardwaru.
Oracle Database nebo Oracle RDBMS— objektově-relační systém správy databázíData Oracle. Již více než 40 let pomáhá Oracle společnostem, vládám a dalším organizacím po celém světě shromažďovat, organizovat a používat data.
Hadoopje open source projekt umístěnýspravované Apache Software Foundation. Hadoop se používá pro spolehlivé, škálovatelné a distribuované výpočty a používá se také jako úložiště souborů pro obecné účely, které pojme petabajty dat.
Paradigmata Hadoop a Oracle jsou zcela odlišná. Určitě můžete říci, že se jedná o další vývoj. Ale ve skutečnosti to jde stranou, protože samotná podstata velkých dat se liší od běžných databází. Hadoop neznamená transakcionismus, ale jako repozitář a systém zpracování informací je to nejúspěšnější řešení. Náklady na licence jsou sníženy. Velmi dobrá škálovatelnost, a proto vysoký výkon.
Boční panel
Různé banky používají různé formy vykazování,ale všechny jsou základní. NCC například předkládá přibližně 200 formulářů pro podávání zpráv. V současné době jsme implementovali asi 20 formulářů vytvořených pomocí Hadoop. Existují dva systémy zdrojů dat. Z nich bereme podrobná data pro reportování. Jedná se o automatizovaný bankovní systém. Druhou je centrální protistrana. To není pro banky, ale specializované pro nás. Poté jsou data agregována do Hadoopu. Nejdříve jsou naplněny v původní podobě, poté zpracovány, vyčištěny, připraveny, agregovány a přeneseny do samostatné vrstvy. Vytváří kompletní datové portfolio pro každého klienta a pro každé úložiště. A na základě Oracle je již "obal", jehož prostřednictvím získáváme informace, které již v systému existují. Na základě těchto údajů sestavujeme plnohodnotné zprávy vhodné pro předkládání regulačním orgánům.
Datové jezero- centralizované úložiště, umožňujícíukládat všechna data a struktury. Data lze ukládat tak, jak jsou, pomocí různých typů analýz – od řídicích panelů a vizualizace po zpracování velkých dat, analýzy v reálném čase a strojové učení pro lepší rozhodování.
„Odvoláváme analytiky rukou“
Jedním z důvodů, proč jsme si vybrali Hadoop, jeexistoval projekt implementace Data Lake v Moscow Exchange Group. Produkt je stále mladý a neustále se vyvíjí. Data tam budou ukládat nejen finanční oddělení – například účetnictví, ale také technická oddělení, která budou svá data zpracovávat pomocí zařízení Hadoop – stejné protokoly z finančních systémů. Moskevská burza generuje velmi velké množství dat. Pro toto zpracování již nevyhovují standardní centrální databáze (centrální databáze - Hi-Tech). S tímto proudem se prostě nemohou vyrovnat.
Řešení Data Lake zjednodušuje tento úkol.a zvýšit produktivitu. Nyní máme reporty centrální banky, daňového výkaznictví, Rosfinmonitoring budou přidány zde. To znamená uložení jiného typu dat. Může to být pouze skenování dokumentů požadovaných pro daň. Ukládání binárních souborů v databázi je velmi drahé a nerozumné. Proto bylo vybráno řešení z pohledu velkých dat.
V budoucnu může mít toto řešení velký význambudoucnosti. Máme skupinu společností, z nichž každá má své vlastní úkoly pro zpracování svých dat. Možná, že v budoucnu budou všechny sloučeny do jednoho klastru, ve kterém budou zpracovány všechny úkoly ve skupině.
Boční panel
Dalším směrem je snižování nákladů naukládání archivních dat. Jejich uložení na Exadata je poměrně drahé. Jakmile budou data migrována na napájení Hadoop, budou levnější, snadněji se analyzují a analytikům poskytnou lepší výkon. V tuto chvíli jsou omezeni skutečností, že zdroje přidělené pro jejich úkoly jsou poměrně úzké - kvůli nadměrné zátěži hlavního systému.
Jak může starší software vést k selhání banky
V každé bance se používá krajina softwarusoftware je velmi rozmanitý. Počínaje některými z našich vlastních vývojů a konče průmyslovými řešeními, která zůstávají jako starší software, kterého se již nelze zbavit. Původně byl vybrán. Přechod z něj na jiné systémy je velmi nákladný. Kvůli tomu ho musíte neustále tahat a podporovat. Naše řešení vám umožňuje zbavit se některých systémových problémů pomocí nových technologií.
Připravili jsme například zprávy na základěautomatizovaný bankovní systém. Mělo to ale omezení – výkon a výhradní využití zdrojů při výpočtu jedné sestavy. Výkon z hlediska výpočtu jednoho tvaru v průběhu času byl tedy extrémně nízký. Někdy nám jedna forma zabrala až šest hodin i více.
Boční panel
Z takových okamžiků nemůžete jen tak odejít:Výměna automatizovaného systému v bance je jako katastrofa. Je zde mnoho nuancí, které je třeba vzít v úvahu. Je prostě nemožné migrovat z jednoho softwaru na druhý během jednoho dne. V mé praxi se vyskytl případ, kdy banka přešla ze dvou nebo tří automatizovaných bankovních systémů umístěných v regionech na jeden jediný, který se naopak nacházel v centrále. Tento proces trval několik měsíců.
Také v NCC - při realizaci tohoto projektubylo jich tam spousta lidí. Jedná se o analytiky a finanční úředníky, kteří provedli analýzu konkrétního přístupu. Kromě toho bylo zapojeno velké množství technických pracovníků - je nutné připravit infrastrukturu, nasadit a vytvořit předpisy pro údržbu.
Banky, které fungují již delší dobu, rozhodně mají starší software.Pracoval jsem ve čtyřech bankách, všechny měly takový software. Počínaje softwarem napsaným pod DOSem a konče rozsáhlým softwarem, který již nelze odmítnout, protože je velmi silně integrován do podnikových procesů. Pokud zůstanete na starých systémech, sníží se produktivita a konkurenceschopnost finanční organizace a zvýší se rizika – pokud ne výchozí, pak zrušení licence.
Pro banky a společnosti, které právě zahájily svou činnostrozvoje, je zde větší prostor pro výběr technologií. Včetně NCC, protože jsme relativně mladá společnost. Software používaný téměř všude je moderní.