NCC- небанкова кредитна организация, която изпълнява функциите на клирингова организация и централа
Отчитането е по-лесно с големи данни
Банката на Русия изисква всички финансови участници— банки, финансови организации, включително NCC, докладват за своята дейност. Те отчитат колко пари има в баланса, как се прехвърлят към индивидуални сметки и колко транзакции са извършени. Всичко това трябва да се подготвя и предоставя редовно на Централната банка. За да опростим задачата, внедрихме автоматична система, базирана на решения на компанията Neoflex. Тази компания отдавна се специализира в изграждането на системи за финансови отчети за регулаторните органи.
Когато работех в Бинбанк, също имахмеNeoflex решения, но на по-стари технологии. Това беше база данни на Oracle и цялата обработка и докладване бяха направени по нея. И NCC внедри решение, базирано на технологията Hadoop, която използваме като основна система за съхранение на данни и обработка на информация.
Oracle бази данни- една от най-популярните бази данни в света,използвани от лидерите на ИТ пазара - Facebook, Twitter, YouTube. Например базите данни MySQL, базирани на решения на Oracle, често са предпочитаната вградена база данни, разпространявана от хиляди доставчици на софтуер и производители на хардуер.
Oracle Database или Oracle RDBMS— система за управление на обектно-релационна база данниДанни на Oracle. Повече от 40 години Oracle помага на компании, правителства и други организации по целия свят да събират, организират и използват данни.
Hadoopе проект с отворен код, разположенуправляван от Apache Software Foundation. Hadoop се използва за надеждни, мащабируеми и разпределени изчисления и също така се използва като файлово хранилище с общо предназначение, което може да побере петабайти данни.
Парадигмите на Hadoop и Oracle са напълно различни. Със сигурност можете да кажете, че това е по-нататъшно развитие. Но всъщност това се отклонява, защото самата същност на големите данни се различава от обикновените бази данни. Hadoop не означава транзакционализъм, но като хранилище и система за обработка на информация, това е най-доброто решение. Разходите за лицензи са намалени. Много добра мащабируемост и съответно висока производителност.
incut
Различните банки използват различни форми на отчитане,но има основни присъщи за всички. Например, НКК представя около 200 формуляра за докладване. От тях в момента сме внедрили около 20 форми, създадени с помощта на Hadoop. Има две системи за източници на данни. От тях ние вземаме подробни данни за отчитане. Това е автоматизирана банкова система. Вторият е централният контрагент. Това не е за банки, а за нас. След това данните се агрегират в Hadoop. Първо, те се пълнят в оригиналната им форма, след което се обработват, почистват, подготвят, агрегират и прехвърлят в отделен слой. Тя създава пълно портфолио с данни за всеки клиент и за всеки магазин. И на базата на Oracle вече е "обвивка", чрез която получаваме информация, която вече съществува в самата система. И на базата на тези данни изграждаме пълноценни доклади, подходящи за представяне пред регулаторните органи.
Езеро с данни- централизирано съхранение, позволяващосъхранява всички данни и структури. Данните могат да се съхраняват такива, каквито са, с различни видове анализи - от табла за управление и визуализация до обработка на големи данни, анализи в реално време и машинно обучение за по-добро вземане на решения.
"Развързваме ръцете на анализаторите"
Една от причините, поради които избрахме Hadoop еимаше проект за внедряване на Data Lake в Московската борсова група. Продуктът е все още млад и непрекъснато се развива. Не само финансовите отдели - например счетоводството, но и техническите отдели, които ще обработват данните си с помощта на Hadoop съоръжения - същите регистрационни файлове от финансови системи - ще съхраняват данни там. Московската борса генерира много голямо количество данни. За да се обработи това, стандартните централни бази данни (централни бази данни - Hi-Tech) вече не са подходящи. Те просто не могат да се справят с този поток.
Решението Data Lake опростява тази задача.и увеличаване на производителността. Сега имаме отчетите на Централната банка, данъчната отчетност, Rosfinmonitoring ще бъдат добавени тук. Това означава съхраняване на друг тип данни. Тя може просто да бъде сканиране на документи, изисквани за данъчно облагане. Съхранявайте двоични файлове в базата данни е много скъпо и неразумно. Следователно, решението беше избрано от гледна точка на големите данни.
В бъдеще това решение може да има голямобъдещето. Имаме група от компании, всяка от които има свои задачи за обработка на данните. Може би в бъдеще всички ще бъдат обединени в един клъстер, в който ще бъдат обработени всички задачи в групата.
incut
Друга посока е намаляване на разходите засъхранение на архивни данни. Съхраняването им на Exadata е доста скъпо. След като данните бъдат мигрирани към мощността на Hadoop, те ще бъдат по-евтини, по-лесни за анализ и ще осигурят по-добра производителност за анализаторите. В момента те са ограничени от факта, че ресурсът, отделен за техните задачи, е доста тесен - поради прекомерното натоварване на основната система.
Как наследственият софтуер може да доведе до неизпълнение по банков път
Във всяка банка пейзажът на използвания софтуерсофтуерът е много разнообразен. Започвайки от някои наши собствени разработки и завършвайки с индустриални решения, които остават като наследен софтуер, от който вече не може да се отървете. Първоначално той беше избран. Преминаването от нея към други системи е много скъпо. Поради това трябва постоянно да го дърпате и подкрепяте. Нашето решение ви позволява да се отървете от някои системни проблеми чрез използването на нови технологии.
Например изготвихме доклади на базата наавтоматизирана банкова система. Но имаше ограничения - производителност и изключително използване на ресурси при изчисляване на един отчет. Съответно производителността по отношение на изчисляването на една форма във времето беше изключително ниска. Понякога една форма ни отнемаше до шест часа или повече.
incut
Не можете просто да си тръгнете от моменти като този:Подмяната на автоматизирана система в банка е като катастрофа. Тук има много нюанси, които трябва да се вземат предвид. Просто е невъзможно да мигрирате от един софтуер към друг за един ден. В моята практика имаше случай, когато една банка премина от две или три автоматизирани банкови системи, разположени в регионите, към една, която от своя страна се намираше в централния офис. Този процес продължи няколко месеца.
Също така в НКК - при изпълнението на този проектимаше много хора. Това са анализатори и финансови служители, които са извършили анализ на конкретен подход. В допълнение, участваха голям брой технически персонал - необходимо е да се подготви инфраструктурата, да се внедрят и да се създадат правила за поддръжка.
Банките, които работят от дълго време, определено имат наследен софтуер.Работил съм в четири банки, всички имаха такъв софтуер. Започвайки със софтуер, написан под DOS, и завършвайки с голям софтуер, който вече не е възможно да се откаже, тъй като е много силно интегриран в бизнес процесите. Ако останете на стари системи, производителността и конкурентоспособността на финансовата организация намалява и рисковете се увеличават - ако не неизпълнение, то отнемане на лиценза.
За банки и компании, които току-що са започнали своятаразвитие, има повече възможности за избор на технологии. Включително и NCC, тъй като сме сравнително млада компания. Софтуерът, който се използва почти навсякъде е модерен.