National Clearing CenterのRuslan Sabitov - 銀行のビッグデータとレガシーソフトウェアの問題

NCC- 清算機関と中央機関の機能を実行するノンバンク信用機関

モスクワ取引所市場の取引相手。NCCは中央取引相手として、取引所取引中に参加者が締結する取引のリスクを引き受け、当事者間の仲介役を務めます。 NCC の主要な機能は、国際基準を満たす最新のリスク管理システムの導入を通じて、サービスを提供する金融市場セグメントの安定を確保することです。

ビッグデータを使用するとレポート作成が簡単になります

ロシア銀行はすべての金融参加者を必要としています— NCC を含む銀行、金融機関は、その活動について報告します。彼らは、残高にいくらあるか、個々の口座にどのように送金されるか、そして行われた取引の数を報告します。これらすべてを定期的に準備し、中央銀行に提供する必要があります。タスクを簡素化するために、Neoflex 社のソリューションに基づく自動システムを実装しました。この会社は長年、規制当局向けの財務報告システムの構築を専門としてきました。

Binbankで働いていたときは、Neoflexのソリューションですが、古い技術に基づいています。これはOracleデータベースであり、すべての処理とレポート作成はそれに対して行われました。そしてNCCは、ビッグデータHadoopテクノロジに基づくソリューションを実装しました。これは、メインのデータストレージおよび情報処理システムとして使用されています。

Oracleデータベース- 世界で最も人気のあるデータベースの 1 つ、IT市場のリーダーであるFacebook、Twitter、YouTubeによって使用されています。たとえば、Oracle ソリューションに基づく MySQL データベースは、多くの場合、数千のソフトウェア ベンダーやハードウェア メーカーによって配布される組み込みデータベースとして選ばれています。

OracleデータベースまたはOracle RDBMS— オブジェクトリレーショナルデータベース管理システムオラクルのデータ。オラクルは 40 年以上にわたり、世界中の企業、政府、その他の組織によるデータの収集、整理、使用を支援してきました。

Hadoopはオープンソース プロジェクトです。Apache Software Foundation によって管理されています。 Hadoop は、信頼性が高く、スケーラブルな分散コンピューティングに使用され、ペタバイト単位のデータを収容できる汎用ファイル ストアとしても使用されます。

HadoopとOracleのパラダイムはまったく異なります。 あなたは確かにこれがさらなる発展であると言うことができます。しかし実際には、ビッグデータの本質が通常のデータベースとは異なるため、これは避けています。 Hadoopはトランザクション主義を意味するのではなく、リポジトリおよび情報処理システムとして - これは最も成功したソリューションです。ライセンス費用が削減されます。非常に優れたスケーラビリティ、そしてそれに応じて高性能。

サイドバー

銀行が異なれば、報告方法も異なります。しかし、すべてに固有の基本があります。例えば、NCCは約200の報告書を提出します。これらのうち、現時点でHadoopを使用して作成された約20のフォームを実装しました。データソースには2つのシステムがあります。それらから我々は報告のために詳細なデータを取得します。これは自動銀行システムです。二つ目は中央の相手方です。これは銀行向けではなく、私たちに特化したものです。その後、データはHadoopに集約されます。最初に、それらは元の形式で記入され、それから処理され、きれいにされ、準備され、集められ - そして別の層に移される。それは各クライアントと各店舗にとっての完全なデータポートフォリオを作成します。そして、Oracleに基づいてすでに我々はシステム自体にすでに存在している情報を取得することにより、 "ラッパー"です。そしてこれらのデータに基づいて、規制当局への提出に適した本格的なレポートを作成します。

データレイク- 集中ストレージにより、すべてのデータと構造を保存します。データは、ダッシュボードや視覚化からビッグデータ処理、リアルタイム分析、より適切な意思決定のための機械学習まで、さまざまな種類の分析とともにそのまま保存できます。

「アナリストの手を解き放ちます」

Hadoop を選んだ理由の 1 つは次のとおりです。モスクワ取引所グループにデータレイクを実装するプロジェクトがありました。この製品はまだ新しく、常に進化しています。経理部門などの財務部門だけでなく、Hadoop 機能を使用してデータを処理する技術部門も、財務システムからの同じログを保存します。モスクワ取引所は非常に大量のデータを生成します。これを処理するには、標準的な中央データベース (中央データベース - ハイテク) は適切ではなくなりました。彼らはこの流れに対処することができません。

Data Lakeのソリューションはこの作業を簡素化します。そして生産性を高めます。これで、中央銀行の報告、税務報告、ロスフィンモニタリングがここに追加されます。これは別の種類のデータを保存することを意味します。それは単に税金のために必要とされる文書のスキャンであるかもしれません。データベースにバイナリファイルを保存することは非常に高価で賢明ではありません。そのため、ビッグデータの観点から解決策が選択されました。

将来的には、この解決策は未来です。私たちには会社のグループがあり、それぞれがデータを処理するための独自のタスクを持っています。おそらく将来的には、すべてが1つのクラスターにマージされ、グループ内のすべてのタスクが処理されるようになるでしょう。

サイドバー

もう 1 つの方向は、コストを削減することです。アーカイブデータの保管。これらを Exadata に保存すると、かなりの費用がかかります。データが Hadoop パワーに移行されると、コストが安くなり、分析が容易になり、アナリストにより優れたパフォーマンスが提供されます。現時点では、メイン システムに過度の負荷がかかるため、タスクに割り当てられるリソースが非常に狭いという事実によって制限されています。

レガシーソフトウェアが銀行の債務不履行につながる可能性

どの銀行でも使用されるソフトウェアの状況ソフトウェアは非常に多様です。独自の開発の一部から始まり、もはや取り除くことができないレガシー ソフトウェアとして残る産業用ソリューションで終わります。彼はもともと選ばれた人だった。それから他のシステムに切り替えるには非常に費用がかかります。このため、あなたは常に彼を引っ張ってサポートしなければなりません。当社のソリューションでは、新しいテクノロジーを使用してシステムの問題の一部を解決できます。

たとえば、次のようなレポートを作成しました。自動銀行システム。ただし、1 つのレポートを計算する際のパフォーマンスとリソースの排他的使用という制限がありました。したがって、時間の経過とともに 1 つの形状を計算するという点でのパフォーマンスは非常に低かったです。場合によっては、1 つのフォームに 6 時間以上かかることもありました。

サイドバー

次のような瞬間からただ立ち去ることはできません。銀行の自動システムの置き換えは大惨事のようなものです。ここには考慮する必要がある微妙なニュアンスがたくさんあります。あるソフトウェアから別のソフトウェアに 1 日で移行することは不可能です。私の実務では、ある銀行が地方にある 2 つまたは 3 つの自動バンキング システムから、本店にある 1 つの自動バンキング システムに切り替えたケースがありました。このプロセスは数か月続きました。

NCCでも - このプロジェクトを実施するときたくさんの人が関わっていました。これらは特定のアプローチの分析を行ったアナリストおよび財務担当者です。さらに、膨大な数の技術要員が関与していました。インフラストラクチャの準備、保守規制の展開および作成が必要です。

長く運営されている銀行には必ずレガシーソフトウェアが存在します。私は 4 つの銀行で働いていましたが、どの銀行もそのようなソフトウェアを持っていました。 DOS で書かれたソフトウェアから始まり、ビジネス プロセスに非常に強力に統合されているため、もはや拒否することができない大規模なソフトウェアに終わります。古いシステムを使い続けると、金融組織の生産性と競争力が低下し、リスクが増大します。デフォルトでない場合は、ライセンスが取り消されます。

銀行や事業を始めたばかりの企業向け開発に伴い、テクノロジーを選択する余地がさらに広がります。当社は比較的若い会社なので、NCCも含めて。ほとんどの場所で使用されているソフトウェアは最新のものです。