NCC- pozabankowa organizacja kredytowa pełniąca funkcje organizacji rozliczeniowej i centralnej
Raportowanie jest łatwiejsze dzięki dużym danym
Bank Rosji wymaga od wszystkich uczestników finansowych— banki, organizacje finansowe, w tym NCC, składają sprawozdania ze swojej działalności. Informują, ile pieniędzy jest na saldzie, w jaki sposób są przelewane na indywidualne konta i ile transakcji miało miejsce. Wszystko to powinno być na bieżąco przygotowywane i przekazywane do Banku Centralnego. Aby uprościć zadanie, wdrożyliśmy automatyczny system oparty na rozwiązaniach firmy Neoflex. Firma od dawna specjalizuje się w budowaniu systemów sprawozdawczości finansowej dla organów regulacyjnych.
Kiedy pracowałem w Binbank, mieliśmy teżRozwiązania Neoflex, ale w starszych technologiach. Była to baza danych Oracle, a przetwarzanie i raportowanie odbywało się na niej. NCC wdrożyło rozwiązanie oparte na technologii Big Data-Hadoop, które wykorzystujemy jako główny system przechowywania danych i przetwarzania informacji.
Bazy danych Oracle- jedna z najpopularniejszych baz danych na świecie,wykorzystywane przez liderów rynku IT - Facebook, Twitter, YouTube. Na przykład bazy danych MySQL oparte na rozwiązaniach Oracle są często preferowaną wbudowaną bazą danych dystrybuowaną przez tysiące dostawców oprogramowania i producentów sprzętu.
Oracle Database lub Oracle RDBMS— obiektowo-relacyjny system zarządzania bazami danychDane Oracle. Od ponad 40 lat Oracle pomaga firmom, rządom i innym organizacjom na całym świecie w gromadzeniu, organizowaniu i wykorzystywaniu danych.
Hadoopto projekt open source zlokalizowanyzarządzany przez Apache Software Foundation. Hadoop służy do niezawodnego, skalowalnego i rozproszonego przetwarzania, a także służy jako magazyn plików ogólnego przeznaczenia, który może pomieścić petabajty danych.
Paradygmaty Hadoop i Oracle są zupełnie inne. Można z pewnością powiedzieć, że jest to dalszy rozwój. Ale tak naprawdę to się odsuwa, ponieważ sama istota dużych danych różni się od zwykłych baz danych. Hadoop nie implikuje transakcjonizmu, ale jako system repozytorium i przetwarzania informacji - jest to najbardziej udane rozwiązanie. Koszty licencji są zmniejszone. Bardzo dobra skalowalność i odpowiednio wysoka wydajność.
Pasek boczny
Różne banki używają różnych form raportowania,ale wszystkie są podstawowe. Na przykład NCC przesyła około 200 formularzy sprawozdawczych. Spośród nich w tej chwili zaimplementowaliśmy około 20 formularzy utworzonych za pomocą Hadoop. Istnieją dwa systemy źródeł danych. Od nich bierzemy szczegółowe dane do raportowania. Jest to automatyczny system bankowy. Drugi to kontrahent centralny. To nie jest dla banków, ale dla nas. Następnie dane są agregowane w Hadoop. Najpierw są wypełniane w oryginalnej postaci, a następnie przetwarzane, czyszczone, przygotowywane, agregowane - i przenoszone na osobną warstwę. Tworzy kompletny portfel danych dla każdego klienta i dla każdego sklepu. A na bazie Oracle jest już „wrapper”, dzięki któremu uzyskujemy informacje, które już istnieją w samym systemie. Na podstawie tych danych tworzymy pełnoprawne raporty, które można przekazać organom regulacyjnym.
Jezioro danych- scentralizowane przechowywanie, umożliwiająceprzechowuj wszystkie dane i struktury. Dane można przechowywać w niezmienionej postaci, korzystając z różnych typów analiz — od pulpitów nawigacyjnych i wizualizacji po przetwarzanie dużych zbiorów danych, analizy w czasie rzeczywistym i uczenie maszynowe w celu lepszego podejmowania decyzji.
„Odłączamy ręce analityków”
Jednym z powodów, dla których wybraliśmy Hadoop, jestbył projekt wdrożenia Data Lake w Moskiewskiej Grupie Exchange. Produkt jest wciąż młody i stale się rozwija. Dane będą tam przechowywać nie tylko działy finansowe – na przykład księgowe, ale także działy techniczne, które będą przetwarzać ich dane za pomocą udogodnień Hadoop – te same logi z systemów finansowych. Moskiewska Giełda generuje bardzo dużą ilość danych. Aby to przetworzyć, standardowe centralne bazy danych (centralne bazy danych - Hi-Tech) nie są już odpowiednie. Po prostu nie są w stanie poradzić sobie z tym przepływem.
Rozwiązanie Data Lake upraszcza to zadanie.i zwiększyć wydajność. Teraz mamy raportowanie Banku Centralnego, raportowanie podatkowe, zostanie dodane Rosfinmonitoring. Oznacza to przechowywanie innego typu danych. Mogą to być po prostu skany dokumentów wymaganych do opodatkowania. Przechowuj pliki binarne w bazie danych jest bardzo drogie i nierozsądne. Dlatego wybrano rozwiązanie z punktu widzenia dużych zbiorów danych.
W przyszłości to rozwiązanie może mieć duże rozmiaryprzyszłość. Mamy grupę firm, z których każda ma własne zadania związane z przetwarzaniem danych. Być może w przyszłości wszystkie zostaną połączone w jeden klaster, w którym będą przetwarzane wszystkie zadania w grupie.
Pasek boczny
Kolejnym kierunkiem jest redukcja kosztówprzechowywanie danych archiwalnych. Przechowywanie ich w Exadata jest dość drogie. Po migracji danych do mocy Hadoop będą one tańsze, łatwiejsze do analizy i zapewnią analitykom lepszą wydajność. W tej chwili ogranicza ich fakt, że zasoby przeznaczone na ich zadania są dość wąskie - ze względu na nadmierne obciążenie głównego systemu.
Jak starsze oprogramowanie może prowadzić do domyślnych ustawień banku
W każdym banku krajobraz używanego oprogramowaniaoprogramowanie jest bardzo zróżnicowane. Zaczynając od niektórych naszych własnych rozwiązań, a kończąc na rozwiązaniach przemysłowych, które pozostają w postaci starszego oprogramowania, którego nie można się już pozbyć. Pierwotnie został wybrany. Przejście z niego na inne systemy jest bardzo kosztowne. Z tego powodu musisz go stale ciągnąć i wspierać. Nasze rozwiązanie pozwala pozbyć się części problemów systemowych poprzez zastosowanie nowych technologii.
Przygotowywaliśmy raporty na podstawie npzautomatyzowany system bankowy. Miał jednak ograniczenia – wydajność i wyłączne wykorzystanie zasobów przy obliczaniu jednego raportu. W związku z tym wydajność w zakresie obliczania jednego kształtu w czasie była wyjątkowo niska. Czasem jeden formularz zajmował nam nawet sześć godzin lub dłużej.
Pasek boczny
Nie można tak po prostu odejść od takich chwil jak ta:Wymiana zautomatyzowanego systemu w banku to katastrofa. Jest tu wiele niuansów, które należy wziąć pod uwagę. Migracja z jednego oprogramowania do drugiego w ciągu jednego dnia jest po prostu niemożliwa. W mojej praktyce zdarzył się przypadek, gdy bank przełączył się z dwóch lub trzech automatycznych systemów bankowych zlokalizowanych w regionach na jeden, który z kolei znajdował się w centrali. Proces ten trwał kilka miesięcy.
Również w NCC - podczas wdrażania tego projektuzaangażowanych było wiele osób. Są to analitycy i urzędnicy finansowi, którzy przeprowadzili analizę konkretnego podejścia. Ponadto zaangażowano dużą liczbę personelu technicznego - konieczne jest przygotowanie infrastruktury, wdrożenie i stworzenie przepisów dotyczących konserwacji.
Banki działające od dłuższego czasu z pewnością posiadają starsze oprogramowanie.Pracowałem w czterech bankach, każdy miał takie oprogramowanie. Począwszy od oprogramowania napisanego pod DOS-em, a kończąc na dużym oprogramowaniu, któremu nie można już odmówić, ponieważ jest bardzo silnie zintegrowane z procesami biznesowymi. Jeśli pozostaniesz przy starych systemach, produktywność i konkurencyjność organizacji finansowej spadnie, a ryzyko wzrośnie – jeśli nie nastąpi niewykonanie zobowiązania, to cofnięcie licencji.
Dla banków i firm, które dopiero rozpoczynają swoją działalnośćrozwoju, istnieje większe pole wyboru technologii. W tym NCC, gdyż jesteśmy stosunkowo młodą firmą. Oprogramowanie stosowane niemal wszędzie jest nowoczesne.