NCC- en icke-bankkreditorganisation som utför funktionerna som en clearingorganisation och central
Rapportering är lättare med stora data
Bank of Russia kräver alla finansiella deltagare— Banker, finansiella organisationer, inklusive NCC, rapporterar om sin verksamhet. De rapporterar hur mycket pengar som finns på saldot, hur de överförs till enskilda konton och hur många transaktioner som har skett. Allt detta bör förberedas och tillhandahållas till centralbanken regelbundet. För att förenkla uppgiften implementerade vi ett automatiskt system baserat på lösningar från Neoflex-företaget. Detta företag har länge specialiserat sig på att bygga finansiella rapporteringssystem för tillsynsmyndigheter.
När jag arbetade på Binbank hade vi ocksåNeoflex-lösningar, men på äldre teknologier. Det var en Oracle-databas, och all bearbetning och rapportering gjordes på den. Och NCC genomförde en lösning baserad på stor data-Hadoop-teknik, som vi använder som huvuddatamagasin och informationsbehandlingssystem.
Oracle databaser- en av de mest populära databaserna i världen,används av IT-marknadsledare - Facebook, Twitter, YouTube. Till exempel är MySQL-databaser baserade på Oracle-lösningar ofta den inbäddade databasen du väljer som distribueras av tusentals mjukvaru- och hårdvarutillverkare.
Oracle Database eller Oracle RDBMS— hanteringssystem för objektrelationell databasOracle-data. I mer än 40 år har Oracle hjälpt företag, regeringar och andra organisationer runt om i världen att samla in, organisera och använda data.
Hadoopär ett projekt med öppen källkodhanteras av Apache Software Foundation. Hadoop används för tillförlitlig, skalbar och distribuerad datoranvändning, och används också som ett allmänt filarkiv som kan ta emot petabyte data.
Hadoop och Oracle paradigm är helt annorlunda. Du kan säkert säga att detta är en vidare utveckling. Men i själva verket går detta åt sidan, eftersom själva kärnan i stora data skiljer sig från vanliga databaser. Hadoop innebär inte transaktionalism, men som ett förvars- och informationsbehandlingssystem - det här är den mest framgångsrika lösningen. Licenskostnaderna reduceras. Mycket god skalbarhet, och därmed hög prestanda.
incut
Olika banker använder olika former av rapportering,men det finns grundläggande inneboende för alla. NCC lämnar till exempel cirka 200 rapporteringsformulär. Av dessa har vi för närvarande implementerat cirka 20 formulär skapade med hjälp av Hadoop. Det finns två system av datakällor. Från dem tar vi detaljerade data för rapportering. Detta är ett automatiserat banksystem. Den andra är den centrala motparten. Detta är inte för banker, men specialiserat för oss. Därefter aggregeras data i Hadoop. Först fylls de i sin ursprungliga form, bearbetas, rengöras, förbereds, aggregeras - och överförs till ett separat lager. Det skapar en komplett dataportfölj för varje kund och för varje butik. Och på grundval av Oracle är redan "wrapper", genom vilken vi får information som redan finns i systemet självt. Och på grundval av dessa uppgifter bygger vi fullfjädrada rapporter som är lämpliga för inlämning till tillsynsmyndigheterna.
Data sjö- centraliserad lagring, tillåterlagra all data och strukturer. Data kan lagras precis som den är, med olika typer av analyser – från instrumentpaneler och visualisering till big data-bearbetning, realtidsanalys och maskininlärning för bättre beslutsfattande.
"Vi frigör analytikerens händer"
En av anledningarna till att vi valde Hadoop ärdet fanns ett projekt för att implementera Data Lake i Moscow Exchange Group. Produkten är fortfarande ung och utvecklas ständigt. Inte bara ekonomiavdelningar – till exempel redovisning, utan även tekniska avdelningar, som kommer att bearbeta sina data med hjälp av Hadoop-anläggningar – samma loggar från ekonomisystem – kommer att lagra data där. Moscow Exchange genererar en mycket stor mängd data. För att hantera detta är vanliga centrala databaser (centrala databaser - Hi-Tech) inte längre lämpliga. De klarar helt enkelt inte av detta flöde.
Data Lake-lösningen förenklar denna uppgift.och öka produktiviteten. Nu har vi rapportering från centralbanken, skatterapportering, Rosfinmonitoring kommer att läggas till här. Det innebär att lagra en annan typ av data. Det kan helt enkelt vara skannar dokument som krävs för skatt. Butik binära filer i databasen är mycket dyr och oklok. Därför valdes en lösning ur stor synpunkt.
I framtiden kan denna lösning ha en storframtiden. Vi har en grupp företag, var och en har sina egna uppgifter för att hantera sina uppgifter. Kanske i framtiden kommer det alla att slås samman i ett kluster, där alla uppgifter inom gruppen kommer att behandlas.
incut
En annan riktning är att minska kostnaderna förlagring av arkivdata. Att lagra dem på Exadata är ganska dyrt. När data väl har migrerats till Hadoop power blir det billigare, lättare att analysera och ge bättre prestanda för analytiker. För närvarande är de begränsade av det faktum att resursen som tilldelats för deras uppgifter är ganska smal - på grund av den överdrivna belastningen på huvudsystemet.
Hur äldre programvara kan leda till bankstandard
I alla banker, landskapet av programvara som användsmjukvaran är väldigt mångsidig. Utgående från en del av vår egen utveckling och slutar med industriella lösningar som finns kvar som äldre mjukvara som inte längre går att bli av med. Han valdes ursprungligen. Att byta från det till andra system är mycket dyrt. På grund av detta måste du hela tiden dra och stödja honom. Vår lösning låter dig bli av med vissa systemproblem genom att använda ny teknik.
Till exempel utarbetade vi rapporter utifrånautomatiserade banksystem. Men det hade begränsningar - prestanda och exklusiv användning av resurser vid beräkning av en rapport. Följaktligen var prestandan när det gäller att beräkna en form över tiden extremt låg. Ibland tog en form oss upp till sex timmar eller mer.
incut
Du kan inte bara gå bort från stunder som dessa:Att ersätta ett automatiserat system i en bank är som en katastrof. Det finns många nyanser här som måste beaktas. Det är helt enkelt omöjligt att migrera från en programvara till en annan på en dag. I min praktik var det ett fall då en bank bytte från två eller tre automatiserade banksystem placerade i regionerna till ett enda, som i sin tur var placerat på huvudkontoret. Denna process varade i flera månader.
Också i NCC - när man genomför projektetdet var många involverade. Det här är analytiker och finansiella tjänstemän som utförde en analys av ett visst tillvägagångssätt. Dessutom var ett stort antal tekniska personal involverade - det är nödvändigt att förbereda infrastrukturen, distribuera och skapa underhållsregler.
Banker som har varit verksamma under en lång tid har definitivt äldre mjukvara.Jag arbetade i fyra banker, alla hade sådan mjukvara. Börjar med mjukvara skriven under DOS och slutar med stor mjukvara som inte längre går att vägra, eftersom den är väldigt starkt integrerad i affärsprocesser. Om du stannar kvar på gamla system, minskar produktiviteten och konkurrenskraften i en finansiell organisation, och riskerna ökar – om inte standard, så återkallelse av licens.
För banker och företag som precis har startat sittutveckling, finns det större utrymme för att välja teknik. Inklusive NCC, eftersom vi är ett relativt ungt företag. Mjukvaran som används nästan överallt är modern.