NCC- uma organização de crédito não bancária que desempenha as funções de uma organização de compensação e central
Relatórios são mais fáceis com big data
O Banco da Rússia exige que todos os participantes financeiros— bancos e organizações financeiras, incluindo NCC, reportam sobre as suas atividades. Eles informam quanto dinheiro está no saldo, como é transferido para contas individuais e quantas transações ocorreram. Tudo isto deve ser preparado e fornecido regularmente ao Banco Central. Para simplificar a tarefa, implementamos um sistema automático baseado em soluções da empresa Neoflex. Esta empresa há muito se especializou na construção de sistemas de relatórios financeiros para autoridades reguladoras.
Quando eu trabalhava no Binbank, também tínhamosSoluções Neoflex, mas em tecnologias mais antigas. Era um banco de dados Oracle e todo o processamento e relatórios eram feitos nele. E a NCC implementou uma solução baseada na tecnologia big data-Hadoop, que usamos como o principal sistema de armazenamento de dados e processamento de informações.
Bancos de dados Oracle- um dos bancos de dados mais populares do mundo,usado por líderes do mercado de TI - Facebook, Twitter, YouTube. Por exemplo, os bancos de dados MySQL baseados em soluções Oracle são frequentemente o banco de dados incorporado preferido, distribuído por milhares de fornecedores de software e fabricantes de hardware.
Banco de Dados Oracle ou Oracle RDBMS- sistema de gerenciamento de banco de dados objeto-relacionalDados Oracle. Há mais de 40 anos, a Oracle ajuda empresas, governos e outras organizações em todo o mundo a coletar, organizar e usar dados.
Hadoopé um projeto de código aberto localizadogerenciado pela Apache Software Foundation. O Hadoop é usado para computação confiável, escalável e distribuída, e também como armazenamento de arquivos de uso geral que pode acomodar petabytes de dados.
Os paradigmas do Hadoop e Oracle são completamente diferentes. Você pode certamente dizer que este é um desenvolvimento adicional. Mas, na verdade, isso está de lado, porque a própria essência do Big Data difere dos bancos de dados comuns. O Hadoop não implica transacionalismo, mas como um sistema de repositório e processamento de informações - esta é a solução mais bem-sucedida. Os custos de licença são reduzidos. Muito boa escalabilidade e, consequentemente, alto desempenho.
Barra lateral
Bancos diferentes usam diferentes formas de relatórios,mas existem básicos inerentes a todos. Por exemplo, o NCC envia cerca de 200 formulários de relatório. Destes, no momento, implementamos cerca de 20 formulários criados usando o Hadoop. Existem dois sistemas de fontes de dados. Deles, pegamos dados detalhados para relatórios. Este é um sistema bancário automatizado. A segunda é a contraparte central. Isto não é para bancos, mas especializado para nós. Depois disso, os dados são agregados no Hadoop. Primeiro, eles são preenchidos em sua forma original, depois processados, limpos, preparados, agregados - e transferidos para uma camada separada. Cria um portfólio de dados completo para cada cliente e para cada loja. E com base no Oracle já é "wrapper", através do qual obtemos informações que já existem no próprio sistema. E com base nesses dados, construímos relatórios completos adequados para apresentação às autoridades reguladoras.
Lago de dados- armazenamento centralizado, permitindoarmazenar todos os dados e estruturas. Os dados podem ser armazenados exatamente como estão, com diferentes tipos de análise – desde painéis e visualização até processamento de big data, análise em tempo real e aprendizado de máquina para uma melhor tomada de decisões.
“Desatamos as mãos dos analistas”
Uma das razões pelas quais escolhemos o Hadoop éhouve um projeto para implementar Data Lake no Moscow Exchange Group. O produto ainda é jovem e está em constante evolução. Não apenas os departamentos financeiros armazenarão dados lá – contabilidade, por exemplo, mas também os departamentos técnicos que processarão seus dados usando recursos do Hadoop – os mesmos logs dos sistemas financeiros. A Bolsa de Moscou gera uma grande quantidade de dados. Para processar isso, os bancos de dados centrais padrão (bancos de dados centrais - Hi-Tech) não são mais adequados. Eles simplesmente não conseguem lidar com esse fluxo.
A solução Data Lake simplifica essa tarefa.e aumentar a produtividade. Agora temos o relatório do Banco Central, relatórios fiscais, o Rosfinmonitoring será adicionado aqui. Isso significa armazenar outro tipo de dados. Pode ser simplesmente varreduras de documentos exigidos para impostos. Armazenar arquivos binários no banco de dados é muito caro e imprudente. Portanto, uma solução foi escolhida do ponto de vista do big data.
No futuro, esta solução pode ter um grandeo futuro. Temos um grupo de empresas, cada uma com suas próprias tarefas para processar seus dados. Talvez no futuro tudo seja mesclado em um cluster, no qual todas as tarefas do grupo serão processadas.
Barra lateral
Outra direção é reduzir custos paraarmazenamento de dados de arquivo. Armazená-los no Exadata é bastante caro. Depois que os dados forem migrados para o poder do Hadoop, eles serão mais baratos, mais fáceis de analisar e proporcionarão melhor desempenho aos analistas. No momento, eles estão limitados pelo fato de os recursos alocados para suas tarefas serem bastante limitados - devido à carga excessiva do sistema principal.
Como o software legado pode levar à inadimplência do banco
Em qualquer banco, o panorama do software utilizadoo software é muito diversificado. Começando com alguns de nossos próprios desenvolvimentos e terminando com soluções industriais que permanecem como software legado do qual não é mais possível se livrar. Ele foi originalmente escolhido. Mudar dele para outros sistemas é muito caro. Por causa disso, você tem que puxá-lo e apoiá-lo constantemente. Nossa solução permite que você se livre de alguns problemas do sistema através do uso de novas tecnologias.
Por exemplo, preparamos relatórios com base emsistema bancário automatizado. Mas tinha limitações - desempenho e uso exclusivo de recursos no cálculo de um relatório. Conseqüentemente, o desempenho em termos de cálculo de uma forma ao longo do tempo foi extremamente baixo. Às vezes, um formulário demorava até seis horas ou mais.
Barra lateral
Você não pode simplesmente fugir de momentos como este:Substituir um sistema automatizado em um banco é como um desastre. Existem muitas nuances aqui que precisam ser levadas em consideração. É simplesmente impossível migrar de um software para outro em um dia. Na minha prática, houve um caso em que um banco trocou dois ou três sistemas bancários automatizados localizados nas regiões para um único, que, por sua vez, estava localizado na sede. Este processo durou vários meses.
Também no NCC - ao implementar este projetohavia muita gente envolvida. Estes são analistas e diretores financeiros que conduziram uma análise de uma abordagem particular. Além disso, um grande número de técnicos envolvidos - é necessário preparar a infraestrutura, implantar e criar regulamentos de manutenção.
Bancos que já operam há muito tempo definitivamente possuem software legado.Trabalhei em quatro bancos, todos tinham esse software. Começando com software escrito em DOS e terminando com software de grande porte que não é mais possível recusar, pois está fortemente integrado aos processos de negócio. Se você permanecer em sistemas antigos, a produtividade e a competitividade de uma organização financeira diminuirão e os riscos aumentarão – se não a inadimplência, então a revogação da licença.
Para bancos e empresas que acabaram de iniciar a sua actividadedesenvolvimento, há mais margem para escolher tecnologias. Incluindo a NCC, já que somos uma empresa relativamente jovem. O software usado em quase todos os lugares é moderno.