NCC- ארגון אשראי חוץ בנקאי המבצע את תפקידי ארגון סליקה ומרכז
הדיווח קל יותר עם נתונים גדולים
הבנק של רוסיה דורש את כל המשתתפים הפיננסיים- בנקים, ארגונים פיננסיים, כולל NCC, מדווחים על פעילותם. הם מדווחים כמה כסף יש ביתרה, איך הוא מועבר לחשבונות בודדים וכמה עסקאות בוצעו. את כל זה יש להכין ולספק לבנק המרכזי על בסיס קבוע. כדי לפשט את המשימה, הטמענו מערכת אוטומטית המבוססת על פתרונות של חברת Neoflex. חברה זו מתמחה זה מכבר בבניית מערכות דיווח כספי עבור רשויות רגולטוריות.
כאשר עבדתי ב Binbank, גם לנו היהפתרונות Neoflex, אבל על טכנולוגיות ישנות יותר. זה היה מסד נתונים של אורקל, וכל עיבוד ודיווח נעשה על זה. ו NCC יישמה פתרון המבוסס על נתונים גדולים, הטכנולוגיה Hadoop, שבו אנו משתמשים כמו אחסון נתונים הראשי ומערכת עיבוד מידע.
מסדי נתונים של Oracle- אחד ממאגרי המידע הפופולריים ביותר בעולם,בשימוש על ידי מובילי שוק IT - פייסבוק, טוויטר, יוטיוב. לדוגמה, מסדי נתונים של MySQL המבוססים על פתרונות אורקל הם לרוב מסד הנתונים המוטבע המופץ על ידי אלפי ספקי תוכנה ויצרני חומרה.
Oracle Database או Oracle RDBMS- מערכת ניהול מסדי נתונים ביחס לאובייקטיםנתוני אורקל. במשך יותר מ-40 שנה, אורקל סייעה לחברות, ממשלות וארגונים אחרים ברחבי העולם לאסוף, לארגן ולהשתמש בנתונים.
הדופהוא פרויקט קוד פתוח הממוקםמנוהל על ידי קרן תוכנת Apache. Hadoop משמשת למחשוב אמין, ניתן להרחבה ומבוזרת, ומשמשת גם כמאגר קבצים לשימוש כללי שיכול להכיל פטה-בייט של נתונים.
הפרדיגמות של הדופ ואורקל שונות לחלוטין. אתה בהחלט יכול להגיד שזה פיתוח נוסף. אבל למעשה, זה הולך בצד, כי עצם המהות של נתונים גדולים שונה ממאגרי נתונים רגילים. הדופ אינו מעיד על טרנזקציות, אלא כמאגרי מידע ומערכות לעיבוד מידע - זהו הפתרון המוצלח ביותר. עלויות הרישיון מופחתות. מדרגיות טובה מאוד, ובהתאם, ביצועים גבוהים.
הסרגל הצידי
בנקים שונים משתמשים בצורות שונות של דיווח,אבל יש בסיסי הטמון לכל. לדוגמה, ה- NCC שולח כ -200 טופסי דיווח. מבין אלה, כרגע יש לנו מיושם על 20 צורות שנוצרו באמצעות Hadoop. ישנן שתי מערכות של מקורות נתונים. מהם אנו לוקחים נתונים מפורטים לדיווח. זוהי מערכת בנקאית אוטומטית. השני הוא הצד הנגדי המרכזי. זה לא עבור הבנקים, אבל התמחה לנו. לאחר מכן, הנתונים מצטברים לתוך Hadoop. ראשית, הם מלאים בצורתם המקורית, מעובדים, מנוקים, מוכנים, מצטברים - ומועברים לשכבה נפרדת. זה יוצר תיק נתונים מלא עבור כל לקוח עבור כל חזית. ועל בסיס של Oracle כבר "עטיפה", שדרכו אנו מקבלים מידע שכבר קיים במערכת עצמה. ועל בסיס נתונים אלה אנו בונים דוחות מלאים ומגוונים המתאימים להגשתם לרשויות הרגולטוריות.
אגם נתונים- אחסון מרכזי, מאפשרלאחסן את כל הנתונים והמבנים. ניתן לאחסן נתונים כמו שהם, עם סוגים שונים של ניתוח - מלוחות מחוונים ווויזואליזציה לעיבוד נתונים גדולים, ניתוח בזמן אמת ולמידת מכונה לקבלת החלטות טובות יותר.
"אנו להתיר ידיים האנליסטים"
אחת הסיבות שבגללן בחרנו ב-Hadoop היאהיה פרויקט ליישום Data Lake ב-Moscow Exchange Group. המוצר עדיין צעיר ומתפתח כל הזמן. לא רק מחלקות פיננסיות - הנהלת חשבונות, למשל, אלא גם מחלקות טכניות, שיעבדו את הנתונים שלהן באמצעות מתקני Hadoop - אותם לוגים ממערכות פיננסיות - יאחסנו שם נתונים. הבורסה של מוסקבה מייצרת כמות גדולה מאוד של נתונים. על מנת לעבד זאת, מסדי נתונים מרכזיים סטנדרטיים (מאגרי מידע מרכזיים - היי-טק) אינם מתאימים יותר. הם פשוט לא יכולים להתמודד עם הזרימה הזו.
פתרון Data Lake מפשט את המשימה.ולהגדיל את הפרודוקטיביות. עכשיו יש לנו את הדיווח של הבנק המרכזי, דיווח מס, Rosfinmonitoring יתווספו כאן. משמעות הדבר היא אחסון סוג אחר של נתונים. זה יכול להיות פשוט סריקות של המסמכים הדרושים למס. מאגר קבצים בינאריים במסד הנתונים הוא יקר מאוד לא חכם. לכן, הפתרון נבחר במונחים של נתונים גדולים.
בעתיד, פתרון זה עשוי להיות גדולאת העתיד. יש לנו קבוצה של חברות, כל אחד יש משימות משלו לעיבוד הנתונים שלה. אולי בעתיד ימוזגו כולם לאשכול אחד, שבו יטופלו כל המשימות בתוך הקבוצה.
הסרגל הצידי
כיוון נוסף הוא הפחתת עלויות עבוראחסון נתוני ארכיון. אחסן אותם ב- Exadata הוא די יקר. ברגע שהנתונים יועברו ל-Hadoop power, הם יהיו זולים יותר, קלים יותר לניתוח ויספקו ביצועים טובים יותר לאנליסטים. כרגע הם מוגבלים על ידי העובדה שהמשאב המוקצה למשימות שלהם צר למדי - בגלל העומס המוגזם על המערכת הראשית.
כיצד התוכנה מדור קודם יכולה להוביל לברירת המחדל של הבנק
בכל בנק, נוף התוכנה בשימושהתוכנה מגוונת מאוד. החל מכמה מהפיתוחים שלנו וכלה בפתרונות תעשייתיים שנותרו כתוכנה מדור קודם שכבר אי אפשר להיפטר מהם. הוא נבחר במקור. המעבר ממנה למערכות אחרות הוא יקר מאוד. בגלל זה, אתה צריך כל הזמן למשוך ולתמוך בו. הפתרון שלנו מאפשר לך להיפטר מכמה בעיות מערכת באמצעות שימוש בטכנולוגיות חדשות.
לדוגמה, הכנו דוחות על סמךמערכת בנקאית אוטומטית. אבל היו לו מגבלות - ביצועים ושימוש בלעדי במשאבים בעת חישוב דוח אחד. בהתאם לכך, הביצועים במונחים של חישוב צורה אחת לאורך זמן היו נמוכים ביותר. לפעמים טופס אחד לקח לנו עד שש שעות או יותר.
הסרגל הצידי
אתה לא יכול פשוט להתרחק מרגעים כאלה:החלפת מערכת אוטומטית בבנק היא כמו אסון. יש כאן הרבה ניואנסים שצריך לקחת בחשבון. פשוט בלתי אפשרי לעבור מתוכנה אחת לאחרת ביום אחד. בפרקטיקה שלי, היה מקרה שבו בנק עבר משתיים או שלוש מערכות בנקאיות אוטומטיות שנמצאות באזורים לאחת אחת, שבתורה הייתה ממוקמת במשרד הראשי. תהליך זה נמשך מספר חודשים.
גם ב NCC - בעת יישום הפרויקטהיו שם הרבה אנשים. אלה אנליסטים וקצינים פיננסיים שערכו ניתוח של גישה מסוימת. בנוסף, היו מעורבים מספר רב של אנשי צוות טכני - יש צורך להכין את התשתית, לפרוס וליצור תקנות תחזוקה.
לבנקים שפועלים כבר הרבה זמן יש בהחלט תוכנה מדור קודם.עבדתי בארבעה בנקים, לכולם הייתה תוכנה כזו. החל מתוכנה שנכתבה תחת DOS וכלה בתוכנות גדולות שכבר אי אפשר לסרב לה, מאחר שהיא משולבת חזק מאוד בתהליכים עסקיים. אם אתה נשאר במערכות ישנות, הפרודוקטיביות והתחרותיות של ארגון פיננסי יורדות, והסיכונים גדלים - אם לא ברירת מחדל, אז שלילת רישיון.
לבנקים וחברות שזה עתה התחילו את שלהםפיתוח, יש יותר מרחב לבחירת טכנולוגיות. כולל NCC, שכן אנחנו חברה צעירה יחסית. התוכנה המשמשת כמעט בכל מקום היא מודרנית.