ป.ป.ช.- องค์กรสินเชื่อที่ไม่ใช่ธนาคารซึ่งทำหน้าที่ขององค์กรหักบัญชีและส่วนกลาง
การรายงานทำได้ง่ายขึ้นด้วยข้อมูลขนาดใหญ่
ธนาคารแห่งรัสเซียกำหนดให้ผู้เข้าร่วมทางการเงินทุกคน— ธนาคาร องค์กรทางการเงิน รวมถึง ป.ป.ช. รายงานกิจกรรมของพวกเขา พวกเขารายงานว่ามีเงินอยู่ในยอดคงเหลือเท่าใด วิธีโอนไปยังบัญชีแต่ละบัญชี และจำนวนธุรกรรมที่เกิดขึ้น ทั้งหมดนี้ควรจัดเตรียมและมอบให้กับธนาคารกลางเป็นประจำ เพื่อให้งานง่ายขึ้น เราได้นำระบบอัตโนมัติมาใช้โดยอาศัยโซลูชันจากบริษัท Neoflex บริษัทนี้มีความเชี่ยวชาญมายาวนานในการสร้างระบบการรายงานทางการเงินสำหรับหน่วยงานกำกับดูแล
เมื่อฉันทำงานที่ Binbank เราก็มีเช่นกันโซลูชัน Neoflex แต่ใช้เทคโนโลยีรุ่นเก่า มันเป็นฐานข้อมูล Oracle และทำการประมวลผลและการรายงานทั้งหมด และ NCC ใช้วิธีแก้ปัญหาโดยใช้เทคโนโลยีข้อมูลขนาดใหญ่ -Hadoop ซึ่งเราใช้เป็นที่เก็บข้อมูลหลักและระบบประมวลผลข้อมูล
ฐานข้อมูล Oracle- หนึ่งในฐานข้อมูลที่ได้รับความนิยมมากที่สุดในโลกใช้โดยผู้นำตลาดไอที - Facebook, Twitter, YouTube ตัวอย่างเช่น ฐานข้อมูล MySQL ที่ใช้โซลูชันของ Oracle มักเป็นฐานข้อมูลแบบฝังที่เลือกจัดจำหน่ายโดยผู้จำหน่ายซอฟต์แวร์และผู้ผลิตฮาร์ดแวร์หลายพันราย
Oracle Database หรือ Oracle RDBMS— ระบบการจัดการฐานข้อมูลเชิงวัตถุเชิงสัมพันธ์ข้อมูลออราเคิล เป็นเวลากว่า 40 ปีที่ Oracle ได้ช่วยให้บริษัท รัฐบาล และองค์กรอื่นๆ ทั่วโลกรวบรวม จัดระเบียบ และใช้ข้อมูล
Hadoopเป็นโครงการโอเพ่นซอร์สที่ตั้งอยู่จัดการโดยมูลนิธิซอฟต์แวร์อาปาเช่ Hadoop ใช้สำหรับการประมวลผลที่เชื่อถือได้ ปรับขนาดได้ และกระจายตัว และยังใช้เป็นที่เก็บไฟล์ทั่วไปที่สามารถรองรับข้อมูลได้หลายเพตะไบต์
กระบวนทัศน์ของ Hadoop และ Oracle นั้นแตกต่างอย่างสิ้นเชิง แน่นอนคุณสามารถพูดได้ว่านี่เป็นการพัฒนาต่อไป แต่ที่จริงแล้วสิ่งนี้กำลังเกิดขึ้นเพราะสาระสำคัญของข้อมูลขนาดใหญ่นั้นแตกต่างจากฐานข้อมูลทั่วไป Hadoop ไม่ได้หมายถึงการทำธุรกรรม แต่เป็นระบบจัดเก็บข้อมูลและการประมวลผลข้อมูล - นี่เป็นทางออกที่ประสบความสำเร็จ ลดต้นทุนใบอนุญาต ความสามารถในการปรับขยายที่ดีมากและประสิทธิภาพสูง
incut
ธนาคารต่าง ๆ ใช้รูปแบบการรายงานที่แตกต่างกันแต่มีพื้นฐานอยู่กับทุกคน ตัวอย่างเช่น NCC ส่งแบบฟอร์มการรายงานประมาณ 200 แบบ ในตอนนี้เราได้สร้างแบบฟอร์มประมาณ 20 รูปแบบโดยใช้ Hadoop มีแหล่งข้อมูลสองระบบ จากนั้นเรารวบรวมข้อมูลโดยละเอียดสำหรับการรายงาน นี่คือระบบธนาคารอัตโนมัติ ประการที่สองคือคู่สัญญากลาง นี่ไม่ใช่สำหรับธนาคาร แต่เป็นพิเศษสำหรับเรา หลังจากนั้นข้อมูลจะถูกรวมเข้าใน Hadoop ก่อนอื่นพวกเขาจะถูกกรอกในรูปแบบดั้งเดิมของพวกเขาจากนั้นประมวลผลทำความสะอาดเตรียมรวม - และโอนไปยังชั้นที่แยก มันสร้างพอร์ตโฟลิโอข้อมูลที่สมบูรณ์สำหรับลูกค้าแต่ละรายและสำหรับแต่ละหน้าร้าน และบนพื้นฐานของ Oracle นั้น "wrapper" ซึ่งเราได้รับข้อมูลที่มีอยู่แล้วในระบบของตัวเอง และจากข้อมูลนี้เราได้สร้างรายงานที่มีความเหมาะสมสำหรับการนำเสนอต่อหน่วยงานกำกับดูแล
ดาต้าเลค- การจัดเก็บข้อมูลแบบรวมศูนย์ช่วยให้เก็บข้อมูลและโครงสร้างทั้งหมด สามารถจัดเก็บข้อมูลได้ทันทีด้วยการวิเคราะห์ประเภทต่างๆ ตั้งแต่แดชบอร์ดและการแสดงภาพไปจนถึงการประมวลผลข้อมูลขนาดใหญ่ การวิเคราะห์แบบเรียลไทม์ และการเรียนรู้ของเครื่องเพื่อการตัดสินใจที่ดีขึ้น
"เราแก้มือของนักวิเคราะห์"
เหตุผลหนึ่งที่เราเลือก Hadoop คือมีโครงการนำ Data Lake ไปใช้ในกลุ่มแลกเปลี่ยนมอสโก สินค้ายังใหม่และมีการพัฒนาอย่างต่อเนื่อง ไม่เพียงแต่แผนกการเงินเท่านั้นที่จะจัดเก็บข้อมูลไว้ที่นั่น เช่น การบัญชี แต่ยังรวมถึงแผนกเทคนิคที่จะประมวลผลข้อมูลของตนโดยใช้สิ่งอำนวยความสะดวก Hadoop ซึ่งเป็นบันทึกเดียวกันจากระบบการเงิน Moscow Exchange สร้างข้อมูลจำนวนมาก เพื่อดำเนินการนี้ ฐานข้อมูลกลางมาตรฐาน (ฐานข้อมูลกลาง - ไฮเทค) จึงไม่เหมาะสมอีกต่อไป พวกเขาไม่สามารถรับมือกับกระแสนี้ได้
โซลูชัน Data Lake ช่วยให้งานนี้ง่ายขึ้นและเพิ่มผลผลิต ตอนนี้เรามีการรายงานของธนาคารกลางการรายงานภาษีการตรวจสอบ Rosfinmonitor จะถูกเพิ่มที่นี่ นี่หมายถึงการจัดเก็บข้อมูลประเภทอื่น อาจเป็นเพียงการสแกนเอกสารที่จำเป็นสำหรับภาษี จัดเก็บไฟล์ไบนารีในฐานข้อมูลมีราคาแพงและไม่ฉลาด ดังนั้นจึงได้เลือกโซลูชันจากมุมมองของข้อมูลขนาดใหญ่
ในอนาคตการแก้ปัญหานี้เป็นไปได้อนาคต เรามีกลุ่ม บริษัท แต่ละแห่งมีหน้าที่ของตนเองในการประมวลผลข้อมูล บางทีในอนาคตทั้งหมดนี้จะถูกรวมเข้าเป็นหนึ่งคลัสเตอร์ซึ่งงานทั้งหมดภายในกลุ่มจะถูกประมวลผล
incut
อีกทิศทางหนึ่งคือการลดต้นทุนสำหรับการจัดเก็บข้อมูลที่เก็บถาวร การจัดเก็บข้อมูลบน Exadata มีราคาค่อนข้างแพง เมื่อย้ายข้อมูลไปยังขุมพลัง Hadoop จะมีราคาถูกลง วิเคราะห์ได้ง่ายขึ้น และมอบประสิทธิภาพที่ดีขึ้นสำหรับนักวิเคราะห์ ในขณะนี้ พวกเขาถูกจำกัดด้วยความจริงที่ว่าทรัพยากรที่จัดสรรสำหรับงานของพวกเขาค่อนข้างแคบ - เนื่องจากระบบหลักมีภาระมากเกินไป
ซอฟต์แวร์ดั้งเดิมสามารถนำไปสู่การเริ่มต้นของธนาคารได้อย่างไร
ในธนาคารใด ๆ ภูมิทัศน์ของซอฟต์แวร์ที่ใช้ซอฟต์แวร์มีความหลากหลายมาก เริ่มต้นจากการพัฒนาบางส่วนของเราเองและปิดท้ายด้วยโซลูชันทางอุตสาหกรรมที่ยังคงเป็นซอฟต์แวร์รุ่นเก่าที่ไม่สามารถกำจัดออกไปได้อีกต่อไป เขาได้รับเลือกแต่แรก การเปลี่ยนไปใช้ระบบอื่นมีราคาแพงมาก ด้วยเหตุนี้คุณจึงต้องดึงและสนับสนุนเขาอย่างต่อเนื่อง โซลูชันของเราช่วยให้คุณกำจัดปัญหาระบบบางอย่างผ่านการใช้เทคโนโลยีใหม่
เช่น เราจัดทำรายงานตามระบบธนาคารอัตโนมัติ แต่มีข้อจำกัด - ประสิทธิภาพและการใช้ทรัพยากรแต่เพียงผู้เดียวเมื่อคำนวณรายงานเดียว ดังนั้น ประสิทธิภาพในแง่ของการคำนวณรูปร่างเดียวในช่วงเวลาหนึ่งจึงต่ำมาก บางครั้งแบบฟอร์มหนึ่งใช้เวลาถึงหกชั่วโมงหรือมากกว่านั้น
incut
คุณไม่สามารถเดินออกไปจากช่วงเวลาเช่นนี้:การเปลี่ยนระบบอัตโนมัติในธนาคารเปรียบเสมือนหายนะ มีความแตกต่างมากมายที่นี่ที่ต้องนำมาพิจารณา เป็นไปไม่ได้เลยที่จะย้ายจากซอฟต์แวร์หนึ่งไปยังอีกซอฟต์แวร์หนึ่งภายในวันเดียว ในทางปฏิบัติของฉัน มีกรณีที่ธนาคารแห่งหนึ่งเปลี่ยนจากระบบธนาคารอัตโนมัติสองหรือสามระบบที่ตั้งอยู่ในภูมิภาคเป็นระบบเดียว ซึ่งในทางกลับกัน ก็ตั้งอยู่ในสำนักงานใหญ่ กระบวนการนี้กินเวลานานหลายเดือน
นอกจากนี้ใน NCC - เมื่อดำเนินการโครงการนี้มีผู้คนมากมายที่เกี่ยวข้อง เหล่านี้คือนักวิเคราะห์และเจ้าหน้าที่การเงินที่ดำเนินการวิเคราะห์วิธีการเฉพาะ นอกจากนี้ยังมีบุคลากรด้านเทคนิคจำนวนมากเข้าร่วม - จำเป็นต้องเตรียมโครงสร้างพื้นฐานปรับใช้และสร้างกฎการบำรุงรักษา
ธนาคารที่เปิดดำเนินการมาเป็นเวลานานย่อมมีซอฟต์แวร์รุ่นเก่าอย่างแน่นอนฉันทำงานในธนาคารสี่แห่ง ทุกแห่งมีซอฟต์แวร์ดังกล่าว เริ่มต้นด้วยซอฟต์แวร์ที่เขียนภายใต้ DOS และลงท้ายด้วยซอฟต์แวร์ขนาดใหญ่ที่ไม่สามารถปฏิเสธได้อีกต่อไป เนื่องจากมีการรวมเข้ากับกระบวนการทางธุรกิจอย่างมาก หากคุณยังคงใช้ระบบเก่า ประสิทธิภาพและความสามารถในการแข่งขันขององค์กรทางการเงินจะลดลง และความเสี่ยงเพิ่มขึ้น—หากไม่ผิดนัด จะถูกเพิกถอนใบอนุญาต
สำหรับธนาคารและบริษัทที่เพิ่งเริ่มต้นธุรกิจการพัฒนามีขอบเขตในการเลือกเทคโนโลยีมากขึ้น รวมถึง NCC ด้วย เนื่องจากเราเป็นบริษัทที่ค่อนข้างใหม่ ซอฟต์แวร์ที่ใช้เกือบทุกที่มีความทันสมัย