זוכרים את רשת הנוירונים Yandex, שתרגמה סרטונים זרים תוך כדי תנועה? החברה "שדרגה" אותה בכך שלימדה אותה
לָדוּן
אז, כעת משתמשי Yandex.Browser יכולים לצפות בסרטונים באנגלית עם תרגום קולי רב-קולי לרוסית.
אם בתחילה השתמשה הטכנולוגיה בשני קולות מסונתזים לתרגום דיבור - אחד זכר ואחד נקבה - כעת יש שנים עשר קולות. שישה לכל מגדר.
מדווח כי הרשת העצבית "מפיצה" קולות לרמקולים שונים, ולאחר מכן היא "זוכרת" אותם באמצעות מודלים של AI שנוצרו בתוך Yandex.
והכל עובד די רב-שכבתי:ראשית, רשת עצבית אחת מתרגמת דיבור לטקסט, משחזרת סימני פיסוק וקובעת את גבולות המשפטים, ולאחר מכן רשת אחרת מנתחת את הספקטרוגרמה של הקול ומסמנת קטעים שנאמרו על ידי אנשים שונים.