NCC- una organización de crédito no bancaria que desempeña las funciones de una organización de compensación y central
La información es más fácil con big data
El Banco de Rusia exige a todos los participantes financieros— los bancos y las organizaciones financieras, incluida NCC, informan sobre sus actividades. Informan cuánto dinero hay en el saldo, cómo se transfiere a cuentas individuales y cuántas transacciones se han realizado. Todo esto debería prepararse y entregarse al Banco Central periódicamente. Para simplificar la tarea implementamos un sistema automático basado en soluciones de la empresa Neoflex. Esta empresa se ha especializado desde hace mucho tiempo en la creación de sistemas de información financiera para las autoridades reguladoras.
Cuando trabajé en Binbank, también tuvimosSoluciones de Neoflex, pero en tecnologías más antiguas. Era una base de datos Oracle, y todo el procesamiento y los informes se realizaron en ella. Y NCC implementó una solución basada en la tecnología Hadoop de big data, que utilizamos como el principal sistema de almacenamiento de datos y procesamiento de información.
Bases de datos Oracle- una de las bases de datos más populares del mundo,utilizado por los líderes del mercado de TI: Facebook, Twitter, YouTube. Por ejemplo, las bases de datos MySQL basadas en soluciones Oracle suelen ser la base de datos integrada preferida distribuida por miles de proveedores de software y fabricantes de hardware.
Base de datos Oracle o Oracle RDBMS— sistema de gestión de bases de datos relacionales de objetosDatos de oráculo. Durante más de 40 años, Oracle ha ayudado a empresas, gobiernos y otras organizaciones de todo el mundo a recopilar, organizar y utilizar datos.
Hadoopes un proyecto de código abierto ubicadogestionado por la Apache Software Foundation. Hadoop se utiliza para informática confiable, escalable y distribuida, y también se utiliza como almacén de archivos de propósito general que puede acomodar petabytes de datos.
Los paradigmas de Hadoop y Oracle son completamente diferentes. Ciertamente se puede decir que esto es un desarrollo adicional. Pero, de hecho, esto se hace a un lado, porque la esencia misma del big data difiere de las bases de datos ordinarias. Hadoop no implica transaccionalismo, sino como un repositorio y un sistema de procesamiento de información: esta es la solución más exitosa. Los costos de licencia se reducen. Muy buena escalabilidad y, en consecuencia, alto rendimiento.
Barra lateral
Los diferentes bancos utilizan diferentes formas de presentación de informes,Pero hay básicos inherentes a todos. Por ejemplo, el NCC envía alrededor de 200 formularios de informe. De estos, en este momento hemos implementado alrededor de 20 formularios creados usando Hadoop. Hay dos sistemas de fuentes de datos. De ellos tomamos datos detallados para la presentación de informes. Este es un sistema bancario automatizado. La segunda es la contraparte central. Esto no es para los bancos, pero es especializado para nosotros. Después de eso, los datos se agregan a Hadoop. Primero, se llenan en su forma original, luego se procesan, se limpian, se preparan, se agregan y se transfieren a una capa separada. Crea una cartera de datos completa para cada cliente y para cada tienda. Y sobre la base de Oracle ya está "envoltorio", a través del cual obtenemos información que ya existe en el propio sistema. Y sobre la base de estos datos, elaboramos informes completos adecuados para su presentación a las autoridades reguladoras.
Lago de datos- almacenamiento centralizado, permitiendoalmacenar todos los datos y estructuras. Los datos se pueden almacenar tal como están, con diferentes tipos de análisis, desde paneles y visualización hasta procesamiento de big data, análisis en tiempo real y aprendizaje automático para una mejor toma de decisiones.
"Desatamos analistas de manos"
Una de las razones por las que elegimos Hadoop esHabía un proyecto para implementar Data Lake en el Grupo de Intercambio de Moscú. El producto es aún joven y está en constante evolución. Allí almacenarán datos no sólo los departamentos financieros (contabilidad, por ejemplo), sino también los departamentos técnicos, que procesarán sus datos utilizando las instalaciones de Hadoop (los mismos registros de los sistemas financieros). La Bolsa de Moscú genera una gran cantidad de datos. Para procesar esto, las bases de datos centrales estándar (bases de datos centrales - Hi-Tech) ya no son adecuadas. Simplemente no pueden hacer frente a este flujo.
La solución Data Lake simplifica esta tarea.y aumentar la productividad. Ahora tenemos el informe del Banco Central, el informe de impuestos, Rosfinmonitoring se agregará aquí. Esto significa almacenar otro tipo de datos. Simplemente puede ser un escaneo de documentos requeridos para impuestos. Almacenar archivos binarios en la base de datos es muy costoso e imprudente. Por lo tanto, se eligió una solución desde el punto de vista de big data.
En el futuro, esta solución puede tener una granel futuro Tenemos un grupo de empresas, cada una tiene sus propias tareas para procesar sus datos. Quizás en el futuro todo se fusione en un clúster, en el que se procesarán todas las tareas dentro del grupo.
Barra lateral
Otra dirección es reducir los costos dealmacenamiento de datos de archivo. Almacenarlos en Exadata es bastante caro. Una vez que los datos se migren a la potencia de Hadoop, serán más baratos, más fáciles de analizar y proporcionarán un mejor rendimiento para los analistas. Por el momento, están limitados por el hecho de que el recurso asignado para sus tareas es bastante limitado, debido a la carga excesiva en el sistema principal.
Cómo el software heredado puede llevar a la quiebra bancaria
En cualquier banco, el panorama del software utilizadoEl software es muy diverso. Empezando por algunos desarrollos propios y terminando con soluciones industriales que quedan como software heredado del que ya no podemos deshacernos. Fue elegido originalmente. Cambiar de este a otros sistemas es muy caro. Debido a esto, debes tirar de él y sostenerlo constantemente. Nuestra solución le permite deshacerse de algunos problemas del sistema mediante el uso de nuevas tecnologías.
Por ejemplo, preparamos informes basados ensistema bancario automatizado. Pero tenía limitaciones: rendimiento y uso exclusivo de recursos al calcular un informe. En consecuencia, el rendimiento en términos de cálculo de una forma a lo largo del tiempo fue extremadamente bajo. A veces un formulario nos llevaba hasta seis horas o más.
Barra lateral
No puedes simplemente alejarte de momentos como este:Reemplazar un sistema automatizado en un banco es como un desastre. Aquí hay muchos matices que deben tenerse en cuenta. Es simplemente imposible migrar de un software a otro en un día. En mi práctica, hubo un caso en el que un banco pasó de dos o tres sistemas bancarios automatizados ubicados en las regiones a uno solo, que, a su vez, estaba ubicado en la oficina central. Este proceso duró varios meses.
También en NCC - al implementar este proyectoHabía mucha gente involucrada. Estos son analistas y funcionarios financieros que realizaron un análisis de un enfoque particular. Además, hubo una gran cantidad de personal técnico involucrado: es necesario preparar la infraestructura, desplegar y crear reglamentos de mantenimiento.
Los bancos que han estado operando durante mucho tiempo definitivamente tienen software heredado.Trabajé en cuatro bancos, todos tenían ese software. Empezando por el software escrito en DOS y terminando por el software de gran tamaño, que ya no es posible rechazar, ya que está muy integrado en los procesos de negocio. Si se permanece en sistemas antiguos, la productividad y la competitividad de una organización financiera disminuyen y los riesgos aumentan: si no el incumplimiento, entonces la revocación de la licencia.
Para bancos y empresas que recién inician sudesarrollo, hay más margen para elegir tecnologías. Incluyendo a NCC, ya que somos una empresa relativamente joven. El software utilizado en casi todas partes es moderno.