โครงสร้างของโครงข่ายประสาทเทียมและเซลล์ประสาทในสิ่งมีชีวิตนั้นมีพื้นฐานอยู่บนหลักการเดียวกัน โหนดใน
“เมื่อหลายปีก่อนเราได้ดำเนินการอย่างมีประสิทธิผลและการหาปริมาณตุ้มน้ำหนักอย่างประหยัดในเครือข่าย Hopfield นี่คือเครือข่ายหน่วยความจำแบบเชื่อมโยงที่มีการเชื่อมต่อแบบสมมาตรระหว่างองค์ประกอบต่างๆ ที่เกิดขึ้นตามกฎของเฮบบ์ ในระหว่างการดำเนินการ กิจกรรมของเครือข่ายจะลดลงสู่สภาวะสมดุล และเมื่อทำได้สำเร็จ ปัญหาก็ถือว่าได้รับการแก้ไขแล้ว ข้อค้นพบจากการศึกษาครั้งนี้ถูกนำไปใช้กับเครือข่ายฟีดฟอร์เวิร์ดการเรียนรู้เชิงลึก ซึ่งได้รับความนิยมอย่างมากในการจดจำรูปภาพในปัจจุบัน โดยปกติแล้ว เครือข่ายเหล่านี้จำเป็นต้องมีการฝึกอบรมใหม่หลังการหาปริมาณ แต่เราพบวิธีหลีกเลี่ยงปัญหานี้"
Yakov Karandashev ผู้สมัครสาขาวิทยาศาสตร์ รองศาสตราจารย์จากมหาวิทยาลัย RUDN
แนวคิดพื้นฐานเบื้องหลังการทำให้ประสาทเทียมง่ายขึ้นเครือข่าย - นี่คือสิ่งที่เรียกว่าการคำนวณเชิงปริมาณของน้ำหนักนั่นคือการลดจำนวนบิตสำหรับแต่ละน้ำหนัก Quantization เกี่ยวข้องกับการหาค่าเฉลี่ยของสัญญาณตัวอย่างเช่นหากนำไปใช้กับรูปภาพพิกเซลทั้งหมดที่แสดงถึงเฉดสีที่ต่างกันที่มีสีเดียวกันจะกลายเป็นสีเดียวกัน ในทางคณิตศาสตร์หมายความว่าการเชื่อมต่อของระบบประสาทที่มีความคล้ายคลึงกันในพารามิเตอร์บางตัวควรมีน้ำหนัก (หรือความสำคัญ) เท่ากันโดยแสดงเป็นตัวเลข
ทีมนักคณิตศาสตร์จาก RUDN University ทำการคำนวณและสร้างสูตรที่สร้างความสัมพันธ์อย่างมีประสิทธิภาพระหว่างน้ำหนักในโครงข่ายประสาทเทียมก่อนและหลังการหาปริมาณ บนพื้นฐานของพวกเขานักวิทยาศาสตร์ได้พัฒนาอัลกอริทึมซึ่งเครือข่ายประสาทเทียมที่ได้รับการฝึกฝนสามารถจำแนกภาพได้ ในการทดลองของพวกเขานักคณิตศาสตร์ใช้แพ็คเกจข้อความ 50,000 รูปที่แบ่งออกเป็น 1,000 กลุ่ม หลังจากการฝึกอบรมเครือข่ายได้รับการวัดปริมาณโดยใช้วิธีการใหม่และไม่ได้รับการฝึกอบรมใหม่ จากนั้นนำผลลัพธ์ไปเปรียบเทียบกับอัลกอริธึมการหาปริมาณอื่น ๆ
หลังจากการหาปริมาณแล้วความแม่นยำในการจำแนกประเภทลดลงเพียง 1% แต่ปริมาณพื้นที่จัดเก็บที่ต้องการลดลงหกเท่า การทดลองแสดงให้เห็นว่าเครือข่ายนี้ไม่จำเป็นต้องมีการฝึกอบรมใหม่เนื่องจากความสัมพันธ์ที่แข็งแกร่งระหว่างน้ำหนักดั้งเดิมและน้ำหนักเชิงปริมาณ วิธีนี้สามารถช่วยประหยัดทรัพยากรเมื่อทำงานเร่งด่วนหรือทำงานบนอุปกรณ์เคลื่อนที่
อ่านเพิ่มเติม:
กำลังสร้างเครื่องยนต์จรวดนิวเคลียร์สำหรับเที่ยวบินไปยังดาวอังคาร อันตรายอย่างไร?
ดูภาพ 8 ล้านล้านพิกเซลของดาวอังคาร
ฝุ่นดวงจันทร์เป็นอันตรายต่อมนุษย์ ดาวเทียมของโลกไม่เหมาะสำหรับการล่าอาณานิคม?
การทำแท้งกับวิทยาศาสตร์: จะเกิดอะไรขึ้นกับเด็กที่จะคลอด