מהו עיבוד שפה טבעית?
עיבוד טקסט בשפה טבעית - כיוון כללי
ניתוח מיושם על בינה מלאכותיתפירושו הבנת השפה, וסינתזה פירושה יצירת טקסט קרוא וכתוב. פתרון בעיות אלה פירושו ליצור צורה נוחה יותר של אינטראקציה בין מחשב לאדם.
מטרות ומגבלות
תיאורטית, בניית שפה טבעיתממשק למחשבים הוא יעד אטרקטיבי מאוד. מערכות מוקדמות כמו SHRDLU, שעובדות עם "עולם קוביות" מוגבל ומשתמשות באוצר מילים מוגבל, נראו טובות מאוד, והעניקו השראה ליוצריהן. עם זאת, האופטימיות הלכה והתמעטה כאשר מערכות אלו עמדו מול המורכבות והעמימות של העולם האמיתי.
לפעמים מתחשבים בהבנת השפה הטבעיתAI היא משימה שלמה, מכיוון שהכרה בשפה חיה מצריכה ידע עצום במערכת על העולם שמסביב ויכולת לתקשר איתה. עצם ההגדרה של משמעות המילה "להבין" היא אחת המשימות העיקריות של הבינה המלאכותית.
קשיים בהבנת השפה הרוסית
איכות ההבנה תלויה בגורמים רבים: בשפה, בתרבות הלאומית, אצל בן השיח עצמו וכו '. אלה כמה דוגמאות לקשיים שעומדים בפני מערכות הבנת טקסט.
- קשיים בגילוי אנפורות (זיהוי,מה הכוונה בשימוש בכינויים): המשפטים "נתנו את הבננות לקופים כי הם היו רעבים" ו"נתנו את הבננות לקופים כי הם היו בשלים מדי" דומים במבנה התחבירי. באחד מהם הכינויהםמתייחס לקופים, ובאחר לבננות. הבנה נכונה תלויה בידע של המחשב מה בננות וקופים יכולים להיות.
- סדר המילים החופשי יכול להוביל לפרשנות שונה לחלוטין לביטוי: "ההוויה קובעת את התודעה" - מה קובע מה?
- ברוסית, הסדר החופשי מפוצה על ידי מורפולוגיה מפותחת, מילים רשמיות וסימני פיסוק, אך ברוב המקרים הדבר מהווה בעיה נוספת למחשב.
- ניתן להיתקל בנאולוגיזם בדיבור, למשל הפועל "חמישים רובל" - כלומר לשלוח 50 רובל. המערכת אמורה להיות מסוגלת להבדיל בין מקרים כאלה לבין שגיאות הקלדה ולהבין אותם נכון.
- הבנה נכונה של מילים הומוניות היא בעיה נוספת. בזיהוי דיבור, בין היתר, מתעוררת הבעיה של מילים הומוניות פונטיות. בביטוי "הזאב האפור במדבריַעַרפגש ג'ינג'ישׁוּעָל»מילים מודגשות נשמעות באותה צורה ובלעדיההכרחי לדעת מי חירש ומי אדום (למעט העובדה שהשועל יכול להיות אדום והיער יכול להיות חירש, היער יכול להיות גם אדום (מאפיין, במקרה זה, המציין את הצבע השולט של העלווה ביער ), בעוד השועל עשוי להיות חירש, מה שמוליד בעיה נוספת הנובעת מהקודם, אם כי הוא מתוגמל בחלקו על ידי מורפולוגיה - התארים במשפט זה שונים במגדר באופן ברור).
משימות פופולריות:
- זיהוי דיבור
- ניתוח טקסט:
- שאיבת מידע,
- חיפוש מידע,
- ניתוח הצהרות,
- ניתוח סנטימנט של הטקסט,
- מערכות למענה על שאלות.
- יצירת טקסט
- סינתזת דיבור
סיווג כללי:
- סיווג טקסטים
- סיווג רצפי הדמויות:
- זיהוי ישויות בשם,
- קביעת חלקי דיבור במילים.
- זיהוי ביטויים
- חילוץ מידע מהטקסט
- ביאור תחבירי
- ביאור סמנטי
- יצירת טקסט:
- יצירת טקסט המבוסס על דיבור מוכר,
- תרגום מכונה,
- הכללת הטקסט.
כיצד כתיבת AI משתמשת בו בעבודה?
- עמדת וושינגטון
באוגוסט 2016, הוושינגטון פוסט בפעם הראשונההחל להשתמש בבוט הליוגרף, שכתב חדשות קצרות על המשחקים האולימפיים בריו דה ז'ניירו. הביצועים של "הליוגרף" היו מרשימים: הבוט הניב חדשות מהר יותר מהעורך שהספיק להגדיר את המשימה, והקוראים לא הצליחו להבחין בין הערות אוטומטיות לכתביות.
- בלומברג
כ -30% מכל החדשות של בלומברג כיוםנוצרים באמצעות המודול סייבורג. זה מייצר אותם על פי התבנית: מה קרה, מתי, איפה, עם מי, מי ואיך הגיבו על האירוע. זה חוסך עלויות לעיתונאים, אך אי אפשר להסתדר בלעדיהם. סייבורג היא רק מערכת אוטומציה, ולא AI מתקדמת.
- רויטרס
הסוכנות הבינלאומית רויטרס משתמשת בתוכנהחדשות אחרונות. זהו כלי ניבוי AI המעריך סיפורי טוויטר על סמך קריטריונים סטטיסטיים ומוניטין. הבוט בודק מעל 700 מיליון ציוצים מדי יום.
- האפוטרופוס
לראשונה הבינה המלאכותית עברה מעברהערות חדשות והחלו ליצור מאמרים אנליטיים. בינואר 2019 פרסם ה"גרדיאן "את הסיפור הראשון שכתב הבינה המלאכותית ReporterMate. הוא הוקדש לכמות התרומות שנאספו על ידי גורמים שונים באוסטרליה. בנוסף לטקסט, ה- AI יצר גרפים ודירג את המשחקים על פי תוצאות מחנה האימונים.
קרא עוד:
המפה המדויקת הראשונה של העולם נוצרה. מה רע בכולם?
המקום הסוער ביותר על פני כדור הארץ: מדוע מעבר דרייק הוא הדרך המסוכנת ביותר לאנטארקטיקה
תרכובת אורניום חדשה שוברת שיא למוליכות חריגה