NCC- μη τραπεζικός πιστωτικός οργανισμός που εκτελεί τα καθήκοντα ενός εκκαθαριστικού οργανισμού και κεντρικού
Η αναφορά είναι ευκολότερη με τα μεγάλα δεδομένα
Η Τράπεζα της Ρωσίας απαιτεί όλους τους χρηματοοικονομικούς συμμετέχοντες— τράπεζες, χρηματοπιστωτικοί οργανισμοί, συμπεριλαμβανομένου του NCC, αναφέρουν τις δραστηριότητές τους. Αναφέρουν πόσα χρήματα υπάρχουν στο υπόλοιπο, πώς μεταφέρονται σε ατομικούς λογαριασμούς και πόσες συναλλαγές έχουν πραγματοποιηθεί. Όλα αυτά θα πρέπει να προετοιμάζονται και να παρέχονται στην Κεντρική Τράπεζα σε τακτική βάση. Για να απλοποιήσουμε την εργασία, εφαρμόσαμε ένα αυτόματο σύστημα βασισμένο σε λύσεις της εταιρείας Neoflex. Αυτή η εταιρεία ειδικεύεται εδώ και πολύ καιρό στην κατασκευή συστημάτων χρηματοοικονομικής αναφοράς για ρυθμιστικές αρχές.
Όταν δούλευα στη Binbank, είχαμε επίσηςΛύσεις Neoflex, αλλά σε παλαιότερες τεχνολογίες. Ήταν μια βάση δεδομένων Oracle, και όλες οι επεξεργασίες και οι αναφορές έγιναν σε αυτό. Και η NCC εφάρμοσε μια λύση βασισμένη στην μεγάλη τεχνολογία δεδομένων Hadoop, την οποία χρησιμοποιούμε ως κύριο σύστημα αποθήκευσης δεδομένων και επεξεργασίας πληροφοριών.
Oracle βάσεις δεδομένων- μία από τις πιο δημοφιλείς βάσεις δεδομένων στον κόσμο,χρησιμοποιείται από ηγέτες της αγοράς πληροφορικής - Facebook, Twitter, YouTube. Για παράδειγμα, οι βάσεις δεδομένων MySQL που βασίζονται σε λύσεις Oracle είναι συχνά η ενσωματωμένη βάση δεδομένων επιλογής που διανέμεται από χιλιάδες προμηθευτές λογισμικού και κατασκευαστές υλικού.
Oracle Database ή Oracle RDBMS— Σύστημα διαχείρισης βάσεων δεδομένων αντικειμενικής σχέσηςΔεδομένα Oracle. Για περισσότερα από 40 χρόνια, η Oracle έχει βοηθήσει εταιρείες, κυβερνήσεις και άλλους οργανισμούς σε όλο τον κόσμο να συλλέγουν, να οργανώνουν και να χρησιμοποιούν δεδομένα.
Hadoopείναι ένα έργο ανοιχτού κώδικα που βρίσκεταιδιαχειρίζεται το Apache Software Foundation. Το Hadoop χρησιμοποιείται για αξιόπιστους, επεκτάσιμους και κατανεμημένους υπολογιστές και χρησιμοποιείται επίσης ως χώρος αποθήκευσης αρχείων γενικού σκοπού που μπορεί να φιλοξενήσει petabyte δεδομένων.
Τα παραδείγματα του Hadoop και του Oracle είναι τελείως διαφορετικά. Φυσικά, μπορείτε να πείτε ότι πρόκειται για μια περαιτέρω εξέλιξη. Αλλά στην πραγματικότητα, αυτό πηγαίνει στην άκρη, επειδή η ουσία των μεγάλων δεδομένων είναι διαφορετική από τις συνήθεις βάσεις δεδομένων. Ο Hadoop δεν συνεπάγεται συναλλαγματισμό, αλλά ως σύστημα αποθήκευσης και επεξεργασίας πληροφοριών, αυτή είναι η καλύτερη λύση. Τα έξοδα αδειών μειώνονται. Πολύ καλή επεκτασιμότητα και, συνεπώς, υψηλή απόδοση.
Πλευρική γραμμή
Οι διαφορετικές τράπεζες χρησιμοποιούν διαφορετικές μορφές αναφοράς,αλλά υπάρχουν βασικές, εγγενείς σε όλους. Για παράδειγμα, η NCC υποβάλλει περίπου 200 φόρμες αναφοράς. Από αυτά, αυτή τη στιγμή έχουμε υλοποιήσει περίπου 20 φόρμες που δημιουργήθηκαν με χρήση του Hadoop. Υπάρχουν δύο συστήματα πηγών δεδομένων. Από αυτά συλλέγουμε λεπτομερή δεδομένα για την αναφορά. Πρόκειται για ένα αυτοματοποιημένο τραπεζικό σύστημα. Ο δεύτερος είναι ο κεντρικός αντισυμβαλλόμενος. Αυτό δεν είναι για τις τράπεζες, αλλά εξειδικευμένο για μας. Μετά από αυτό, τα δεδομένα συγκεντρώνονται σε Hadoop. Πρώτον, γεμίζονται στην αρχική τους μορφή, στη συνέχεια επεξεργάζονται, καθαρίζονται, προετοιμάζονται, συγκεντρώνονται - και μεταφέρονται σε ξεχωριστό στρώμα. Δημιουργεί ένα πλήρες χαρτοφυλάκιο δεδομένων για κάθε πελάτη και για κάθε κατάστημα. Και με βάση την Oracle είναι ήδη "περιτύλιγμα", μέσω του οποίου λαμβάνουμε πληροφορίες που υπάρχουν ήδη στο ίδιο το σύστημα. Και βάσει αυτών των δεδομένων, δημιουργούμε πλήρεις εκθέσεις που είναι κατάλληλες για υποβολή στις ρυθμιστικές αρχές.
Λίμνη δεδομένων- κεντρική αποθήκευση, επιτρέπονταςαποθηκεύει όλα τα δεδομένα και τις δομές. Τα δεδομένα μπορούν να αποθηκευτούν όπως είναι, με διαφορετικούς τύπους αναλυτικών στοιχείων - από πίνακες εργαλείων και οπτικοποίηση έως επεξεργασία μεγάλων δεδομένων, αναλυτικά στοιχεία σε πραγματικό χρόνο και μηχανική εκμάθηση για καλύτερη λήψη αποφάσεων.
"Ξεκουράζουμε τα χέρια των αναλυτών"
Ένας από τους λόγους που επιλέξαμε το Hadoop είναιυπήρχε ένα έργο για την υλοποίηση της Λίμνης Δεδομένων στον Όμιλο Ανταλλαγής της Μόσχας. Το προϊόν είναι ακόμα νέο και συνεχώς εξελίσσεται. Όχι μόνο τα οικονομικά τμήματα - λογιστικά, για παράδειγμα, αλλά και τα τεχνικά τμήματα, τα οποία θα επεξεργάζονται τα δεδομένα τους χρησιμοποιώντας εγκαταστάσεις Hadoop - τα ίδια αρχεία καταγραφής από χρηματοοικονομικά συστήματα - θα αποθηκεύουν δεδομένα εκεί. Το ανταλλακτήριο της Μόσχας παράγει πολύ μεγάλο όγκο δεδομένων. Για να γίνει αυτό, οι τυπικές κεντρικές βάσεις δεδομένων (κεντρικές βάσεις δεδομένων - Hi-Tech) δεν είναι πλέον κατάλληλες. Απλώς δεν μπορούν να αντιμετωπίσουν αυτή τη ροή.
Η λύση Data Lake απλοποιεί αυτό το έργο.και την αύξηση της παραγωγικότητας. Τώρα έχουμε την αναφορά της Κεντρικής Τράπεζας, φορολογική αναφορά, Rosfinmonitoring θα προστεθεί εδώ. Αυτό συνεπάγεται την αποθήκευση άλλου τύπου δεδομένων. Αυτά μπορεί απλά να είναι σαρώσεις εγγράφων που απαιτούνται για τον φόρο. Η αποθήκευση δυαδικών αρχείων στη βάση δεδομένων είναι πολύ δαπανηρή και άστοχη. Ως εκ τούτου, επιλέχθηκε μια λύση από την άποψη των μεγάλων δεδομένων.
Στο μέλλον, αυτή η λύση είναι δυνατήστο μέλλον. Έχουμε μια ομάδα εταιρειών, η κάθε μία έχει τα δικά της καθήκοντα για την επεξεργασία των δεδομένων της. Ίσως στο μέλλον όλα αυτά να συγχωνευθούν σε μία ομάδα, στην οποία θα διεκπεραιωθούν όλα τα καθήκοντα της ομάδας.
Πλευρική γραμμή
Μια άλλη κατεύθυνση είναι η μείωση του κόστους γιααποθήκευση αρχειακών δεδομένων. Η αποθήκευση τους στο Exadata είναι αρκετά ακριβή. Μόλις τα δεδομένα μεταφερθούν στο Hadoop power, θα είναι φθηνότερα, πιο εύκολα στην ανάλυση και θα παρέχουν καλύτερη απόδοση για τους αναλυτές. Προς το παρόν, περιορίζονται από το γεγονός ότι ο πόρος που διατίθεται για τα καθήκοντά τους είναι αρκετά στενός - λόγω του υπερβολικού φορτίου στο κύριο σύστημα.
Πώς το παλαιό λογισμικό μπορεί να οδηγήσει σε προεπιλογή τραπεζών
Σε οποιαδήποτε τράπεζα, το τοπίο του λογισμικού που χρησιμοποιείταιτο λογισμικό είναι πολύ διαφορετικό. Ξεκινώντας από ορισμένες από τις δικές μας εξελίξεις και τελειώνοντας με βιομηχανικές λύσεις που παραμένουν ως λογισμικό παλαιού τύπου από το οποίο δεν μπορείτε πλέον να απαλλαγείτε. Αρχικά είχε επιλεγεί. Η μετάβαση από αυτό σε άλλα συστήματα είναι πολύ ακριβή. Εξαιτίας αυτού, πρέπει να τον τραβάς και να τον υποστηρίζεις συνεχώς. Η λύση μας σάς επιτρέπει να απαλλαγείτε από ορισμένα προβλήματα του συστήματος μέσω της χρήσης νέων τεχνολογιών.
Για παράδειγμα, ετοιμάσαμε αναφορές με βάσηαυτοματοποιημένο τραπεζικό σύστημα. Είχε όμως περιορισμούς - απόδοση και αποκλειστική χρήση πόρων κατά τον υπολογισμό μιας αναφοράς. Κατά συνέπεια, η απόδοση όσον αφορά τον υπολογισμό ενός σχήματος με την πάροδο του χρόνου ήταν εξαιρετικά χαμηλή. Μερικές φορές μια φόρμα μας έπαιρνε έως και έξι ώρες ή περισσότερες.
Πλευρική γραμμή
От таких моментов просто так не уйдешь:Η αντικατάσταση ενός αυτοματοποιημένου συστήματος σε μια τράπεζα είναι σαν μια καταστροφή. Υπάρχουν πολλές αποχρώσεις εδώ που πρέπει να ληφθούν υπόψη. Είναι απλά αδύνατο να μεταφερθείτε από το ένα λογισμικό στο άλλο σε μια μέρα. Στην πρακτική μου, υπήρξε μια περίπτωση που μια τράπεζα άλλαξε από δύο ή τρία αυτοματοποιημένα τραπεζικά συστήματα που βρίσκονται στις περιφέρειες σε ένα μόνο, το οποίο, με τη σειρά του, βρισκόταν στα κεντρικά γραφεία. Αυτή η διαδικασία κράτησε αρκετούς μήνες.
Επίσης στο NCC - κατά την υλοποίηση αυτού του έργουυπήρχαν πολλοί άνθρωποι που συμμετείχαν. Αυτοί είναι αναλυτές και οικονομικοί λειτουργοί που προέβησαν σε ανάλυση μιας συγκεκριμένης προσέγγισης. Επιπλέον, συμμετείχε μεγάλος αριθμός τεχνικού προσωπικού - είναι απαραίτητο να προετοιμαστεί η υποδομή, να αναπτυχθούν και να δημιουργηθούν κανονισμοί συντήρησης.
Οι τράπεζες που λειτουργούν εδώ και πολύ καιρό έχουν σίγουρα παλαιού τύπου λογισμικό.Δούλευα σε τέσσερις τράπεζες, όλες είχαν τέτοιο λογισμικό. Ξεκινώντας με λογισμικό γραμμένο υπό DOS και τελειώνοντας με μεγάλο λογισμικό που δεν είναι πλέον δυνατό να αρνηθεί κανείς, καθώς είναι πολύ έντονα ενσωματωμένο στις επιχειρηματικές διαδικασίες. Εάν παραμείνετε σε παλιά συστήματα, η παραγωγικότητα και η ανταγωνιστικότητα ενός χρηματοπιστωτικού οργανισμού μειώνονται και οι κίνδυνοι αυξάνονται—αν όχι αθέτηση, τότε ανάκληση άδειας.
Για τράπεζες και εταιρείες που μόλις ξεκίνησανανάπτυξη, υπάρχει μεγαλύτερο περιθώριο επιλογής τεχνολογιών. Συμπεριλαμβανομένης της NCC, αφού είμαστε μια σχετικά νέα εταιρεία. Το λογισμικό που χρησιμοποιείται σχεδόν παντού είναι σύγχρονο.