NCC- un organismo creditizio non bancario che svolge le funzioni di organismo di compensazione e centrale
La segnalazione è più facile con i big data
La Banca di Russia richiede tutti i partecipanti finanziari— le banche, gli organismi finanziari, compreso NCC, riferiscono sulle loro attività. Riferiscono quanto denaro c'è sul saldo, come viene trasferito sui singoli conti e quante transazioni hanno avuto luogo. Tutto questo dovrebbe essere preparato e fornito regolarmente alla Banca Centrale. Per semplificare il compito, abbiamo implementato un sistema automatico basato sulle soluzioni dell'azienda Neoflex. Questa società è specializzata da tempo nella creazione di sistemi di rendicontazione finanziaria per le autorità di regolamentazione.
Quando lavoravo a Binbank, lo avevamo anche noiSoluzioni Neoflex, ma su tecnologie precedenti. Era un database Oracle e su di esso venivano eseguiti tutti i processi e i rapporti. E NCC ha implementato una soluzione basata su tecnologia Big Data-Hadoop, che utilizziamo come il principale sistema di archiviazione dati e di elaborazione delle informazioni.
Database Oracle- uno dei database più popolari al mondo,utilizzato dai leader del mercato IT: Facebook, Twitter, YouTube. Ad esempio, i database MySQL basati su soluzioni Oracle sono spesso i database embedded preferiti distribuiti da migliaia di fornitori di software e produttori di hardware.
Database Oracle o RDBMS Oracle— sistema di gestione di database relazionali a oggettiDati Oracle. Da oltre 40 anni Oracle aiuta aziende, governi e altre organizzazioni in tutto il mondo a raccogliere, organizzare e utilizzare i dati.
Hadoopè un progetto open source situatogestito dalla Apache Software Foundation. Hadoop viene utilizzato per l'elaborazione affidabile, scalabile e distribuita e viene utilizzato anche come archivio di file per scopi generici in grado di ospitare petabyte di dati.
I paradigmi di Hadoop e Oracle sono completamente diversi. Si può certamente dire che questo è un ulteriore sviluppo. Ma in realtà, questo sta andando a parte, perché l'essenza stessa dei big data differisce dai normali database. Hadoop non implica il transactionalism, ma come un repository e un sistema di elaborazione delle informazioni: questa è la soluzione di maggior successo. I costi della licenza sono ridotti. Ottima scalabilità e, di conseguenza, alte prestazioni.
incut
Diverse banche usano diverse forme di segnalazione,ma ci sono di base inerenti a tutti. Ad esempio, il NCC invia circa 200 moduli di segnalazione. Di questi, al momento abbiamo implementato circa 20 moduli creati usando Hadoop. Esistono due sistemi di origini dati. Da loro prendiamo dati dettagliati per la segnalazione. Questo è un sistema bancario automatico. Il secondo è la controparte centrale. Questo non è per le banche, ma è specializzato per noi. Successivamente, i dati vengono aggregati in Hadoop. Innanzitutto, vengono riempiti nella loro forma originale, quindi elaborati, puliti, preparati, aggregati e trasferiti su un livello separato. Crea un portafoglio dati completo per ogni cliente e per ogni negozio. E sulla base di Oracle è già "wrapper", attraverso il quale otteniamo informazioni già esistenti nel sistema stesso. E sulla base di questi dati costruiamo rapporti completi adatti alla presentazione alle autorità di regolamentazione.
Lago dati- archiviazione centralizzata, consentendomemorizzare tutti i dati e le strutture. I dati possono essere archiviati così come sono, con diversi tipi di analisi: da dashboard e visualizzazione all'elaborazione di big data, analisi in tempo reale e apprendimento automatico per un migliore processo decisionale.
"Liberiamo le mani degli analisti"
Uno dei motivi per cui abbiamo scelto Hadoop èc'era un progetto per implementare Data Lake nel gruppo di scambio di Mosca. Il prodotto è ancora giovane e in continua evoluzione. Non solo i dipartimenti finanziari memorizzeranno i dati lì, ad esempio la contabilità, ma anche i dipartimenti tecnici che elaboreranno i loro dati utilizzando le strutture Hadoop, gli stessi registri dei sistemi finanziari. La Borsa di Mosca genera una grande quantità di dati. Per elaborare ciò, le banche dati centrali standard (banca dati centrali - Hi-Tech) non sono più adatte. Semplicemente non riescono a far fronte a questo flusso.
La soluzione Data Lake semplifica questo compito.e aumentare la produttività. Ora abbiamo la segnalazione della Banca centrale, il reporting fiscale, Rosfinmonitoring verrà aggiunto qui. Questo significa memorizzare un altro tipo di dati. Potrebbe essere semplicemente la scansione dei documenti richiesti per le tasse. Archiviare file binari nel database è molto costoso e poco saggio. Pertanto, è stata scelta una soluzione dal punto di vista dei big data.
In futuro, questa soluzione potrebbe essere di grandi dimensioniil futuro Abbiamo un gruppo di aziende, ognuna delle quali ha i propri compiti per elaborare i propri dati. Forse in futuro sarà tutto fuso in un unico cluster, nel quale verranno elaborate tutte le attività all'interno del gruppo.
incut
Un'altra direzione è ridurre i costi perconservazione dei dati di archivio. Memorizzarli su Exadata è piuttosto costoso. Una volta migrati su Hadoop, i dati saranno più economici, più facili da analizzare e forniranno prestazioni migliori per gli analisti. Al momento, sono limitati dal fatto che le risorse assegnate ai loro compiti sono piuttosto limitate, a causa del carico eccessivo sul sistema principale.
In che modo il software legacy può portare al default bancario
In ogni banca, il panorama del software utilizzatoil software è molto vario. A partire da alcuni dei nostri sviluppi e finendo con soluzioni industriali che rimangono come software legacy di cui non è più possibile sbarazzarsi. Inizialmente era stato scelto. Passare da questo ad altri sistemi è molto costoso. Per questo motivo, devi costantemente tirarlo e sostenerlo. La nostra soluzione ti consente di eliminare alcuni problemi del sistema attraverso l'uso di nuove tecnologie.
Ad esempio, abbiamo preparato report basati susistema bancario automatizzato. Ma presentava dei limiti: prestazioni e uso esclusivo delle risorse durante il calcolo di un report. Di conseguenza, le prestazioni in termini di calcolo di una forma nel tempo erano estremamente basse. A volte un modulo ci impiegava fino a sei ore o più.
incut
Non puoi semplicemente allontanarti da momenti come questo:Sostituire un sistema automatizzato in una banca è come un disastro. Ci sono molte sfumature qui che devono essere prese in considerazione. È semplicemente impossibile migrare da un software all'altro in un giorno. Nella mia pratica, si è verificato un caso in cui una banca è passata da due o tre sistemi bancari automatizzati situati nelle regioni a uno solo, che a sua volta si trovava nella sede centrale. Questo processo è durato diversi mesi.
Anche in NCC - quando si implementa questo progettoc'erano molte persone coinvolte. Questi sono analisti e funzionari finanziari che hanno condotto un'analisi di un particolare approccio. Inoltre, è stato coinvolto un gran numero di personale tecnico: è necessario preparare l'infrastruttura, implementare e creare regolamenti di manutenzione.
Le banche che operano da molto tempo dispongono sicuramente di software legacy.Ho lavorato in quattro banche, tutte avevano questo software. A partire dal software scritto sotto DOS per finire con software di grandi dimensioni che non è più possibile rifiutare, poiché è fortemente integrato nei processi aziendali. Se si rimane sui vecchi sistemi, la produttività e la competitività di un'organizzazione finanziaria diminuiscono e i rischi aumentano: se non il default, addirittura la revoca della licenza.
Per le banche e le aziende che hanno appena avviato il lorosviluppo, c’è più spazio per la scelta delle tecnologie. NCC compresa, visto che siamo un'azienda relativamente giovane. Il software utilizzato quasi ovunque è moderno.