מרחב אירוע אקראי
בשנת 1946 הציע הסטטיסטיקאי האמריקאי ג'ון טוקי את השם BIT
תארו לעצמכם מרחב של אירועים אקראייםאשר מורכב לזרוק מטבע אחד מזויף, משני צידיו של הנשר. מתי נופל נשר? ברור שתמיד. אנו יודעים זאת מראש, משום שהחלל שלנו מסודר. נפילה של נשר הוא אירוע אמין, כלומר, ההסתברות שלה שווה 1. האם אנו נותנים מידע רב אם נאמר על נשר נשר? לא כמות המידע הודעה כזו, אנו ייחשב שווה ל 0.
עכשיו בואו נטיל את המטבע ההוגן:מצד אחד זה ראשים, ומצד שני, זנבות, כמו שצריך. ראשי נחיתה או זנבות יהיו שני אירועים שונים שמרכיבים את מרחב האירועים האקראיים שלנו. אם נדווח על תוצאה של הטלה אחת, זה אכן יהיה מידע חדש. אם ראשים נשמטים, נדווח על 0, ואם זנבות הם 1. על מנת לדווח על מידע זה, אנחנו צריכים רק ביט אחד.
מה השתנה?אי ודאות הופיעה בחלל האירועים שלנו. יש לנו מה לספר על זה למי שלא זורק מטבע בעצמו ולא רואה את התוצאה של ההטלה. אבל כדי להבין נכון את המסר שלנו, עליו לדעת בדיוק מה אנחנו עושים ומה המשמעות של ה-0 וה-1.חללי האירועים שלנו חייבים להתאים, ואת תהליך פענוח הוא ייחודי כדי לשחזר את התוצאה של לזרוק.אם חלל האירועים של המשדר והמקלט אינו חופף או שאין אפשרות לפענוח חד משמעי של ההודעה, המידע יישאר רק רעש בערוץ התקשורת.
אם אתה זורק שניים באופן עצמאי ובו זמניתמטבעות, אז יהיו ארבע תוצאות שונות בסבירות שווה: ראשים-ראשים, ראשים-זנבות, ראשי-זנבות וזנבות-זנבות. כדי להעביר מידע, נצטרך 2 ביטים, וההודעות שלנו יהיו כדלקמן: 00, 01, 10 ו-11. יש פי שניים יותר מידע. זה קרה כי אי הוודאות גברה. אם ננסה לנחש את התוצאה של הטלה זוגית כזו, יש לנו סיכוי כפול לטעות.
ככל שחוסר הוודאות של חלל האירועים גדול יותר, כך ההודעה על מצבו מכילה יותר מידע.
בואו נסבך מעט את חלל האירועים שלנו.עד כה, כל האירועים שקרו היו סבירים באותה מידה. אבל במרחבים אמיתיים, לא לכל האירועים יש הסתברות שווה. נניח שההסתברות שהעורב שנראה יהיה שחור קרובה ל-1. ההסתברות שהעובר האורח הראשון שנפגוש ברחוב יהיה גבר היא בערך 0.5. אבל לפגוש תנין ברחובות מוסקבה זה כמעט בלתי אפשרי. באופן אינטואיטיבי, אנו מבינים שלדיווח על פגישה עם תנין יש ערך מידע הרבה יותר גדול מאשר על עורב שחור.ככל שההסתברות לאירוע נמוכה יותר, כך המידע יותר על ההודעה על אירוע כזה.
בואו מרחב האירוע לא יהיה כל כך אקזוטי. אנחנו פשוט עומדים ליד החלון ומסתכלים על המכוניות החולפות. מכוניות של ארבעה צבעים חולפים על פנינו, שעלינו לדווח עליהם. כדי לעשות זאת, אנו מקודדים את הצבעים: שחור - 00, לבן - 01, אדום - 10, כחול - 11. כדי לדווח בדיוק איזו מכונית נסע, אנחנו רק צריכים להעביר 2 סיביות של מידע.
אבל במשך זמן רב למדי צופה במכוניות,אנו מציינים כי צבע המכוניות מופץ באופן לא אחיד: שחור - 50% (כל שנייה), לבן - 25% (כל רביע), אדום וכחול - 12.5% (כל שמינית). לאחר מכן תוכל למטב את המידע המועבר.
רוב המכוניות שחורות, אזבוא נסמן שחור - 0 - הקוד הקצר ביותר, וניתן לקוד של כל השאר להתחיל ב-1. מהחצי שנותר, לבן - 10, ושאר הצבעים מתחילים ב-11. לבסוף, נסמן אדום - 110, וכחול - 111.
עכשיו, העברת מידע על צבע המכונית, אנחנו יכולים לקודד אותו מקרוב.
שאנון אנטרופיה
תן לחלל האירועים שלנו להיות מורכב מ-nאירועים שונים. כשמטילים מטבע עם שני ראשים יש בדיוק אירוע אחד כזה, כשמטילים מטבע הוגן אחד יש בדיוק 2, כשמטילים שני מטבעות או צופים במכוניות יש בדיוק 4. לכל אירוע יש הסתברות להתרחשותו. כשזורקים מטבע עם שני ראשים, יש אירוע אחד (ראשים נושרים) וההסתברות שלו היא p1 = 1. כשזורקים מטבע הוגן, יש שני אירועים, הם סבירים באותה מידה וההסתברות של כל אחד מהם היא 0.5: p1 = 0.5, p2 = 0.5. כאשר זורקים שני מטבעות הוגנים, ישנם ארבעה אירועים, כולם סבירים באותה מידה וההסתברות של כל אחד מהם היא 0.25: p1 = 0.25, p2 = 0.25, p3 = 0.25, p4 = 0.25. כאשר צופים במכוניות, ישנם ארבעה אירועים, ויש להם הסתברויות שונות: שחור - 0.5, לבן - 0.25, אדום - 0.125, כחול - 0.125: p1 = 0.5, p2 = 0.25, p3 = 0.125, p4 = 0.125.
זה לא צירוף מקרים.שאנון בחרה באנטרופיה (מידה של אי-ודאות במרחב האירוע), כך שמתקיימים שלושה תנאים:
- 1האנטרופיה של אירוע מהימן, שההסתברות שלו היא 1, שווה ל-0.
- האנטרופיה של שני אירועים עצמאיים שווה לסכום האנטרופיות של האירועים הללו.
- אנטרופיה היא מקסימלית אם כל האירועים הם סבירים באותה מידה.
כל הדרישות הללו עולות בקנה אחד עם שלנורעיונות לגבי חוסר הוודאות של חלל האירוע. אם יש רק אירוע אחד (הדוגמה הראשונה), אין אי ודאות. אם האירועים הם בלתי תלויים - אי הוודאות של הסכום שווה לסכום אי הוודאות - הם פשוט מצטברים (הדוגמה של זריקת שני מטבעות). ולבסוף, אם כל האירועים סבירים באותה מידה, אזי מידת אי הוודאות של המערכת היא מקסימלית. כמו במקרה של זריקת שני מטבעות, כל ארבעת האירועים סבירים באותה מידה והאנטרופיה היא 2, היא גדולה יותר מאשר במקרה של מכוניות, כאשר יש גם ארבעה אירועים, אבל יש להם הסתברויות שונות - במקרה זה האנטרופיה היא 1.75.
לכמות H יש תפקיד מרכזי בתורת המידע כמדד למידע, בחירה ואי ודאות.
קלוד שאנון
קלוד אלווד שאנון- מהנדס אמריקאי, אנליטיקאי קריפטה ומתמטיקאי. נחשב ל"אבי עידן המידע". מייסד תורת המידע, שמצא יישום במערכות תקשורת מודרניות בהייטק. סיפק מושגי יסוד, רעיונות וניסוחים מתמטיים שלהם המהווים כיום את הבסיס לטכנולוגיות תקשורת מודרניות.
בשנת 1948, הציע להשתמש במילה "קצת"כדי לציין את יחידת המידע הקטנה ביותר. הוא גם הוכיח שהאנטרופיה שהכניס אותו שווה לאי-הוודאות של המידע בהודעה המועברת. המאמרים של שאנון "תיאוריה מתמטית של תקשורת" ו"תורת התקשורת במערכות סודיות "נחשבים יסודיים לתיאוריית המידע ולקריפטוגרפיה.
במהלך מלחמת העולם השנייה, שאנון עבד ב-Bell Laboratories לפיתוח מערכות קריפטוגרפיות, שעזרו לו מאוחר יותר לגלות שיטות קידוד לתיקון שגיאות.
שאנון תרם תרומה מרכזית לתיאוריה של תוכניות הסתברותיות, תורת המשחקים, תיאוריית האוטומטיקה ותורת מערכת הבקרה - תחומי המדע שהם חלק מתפיסת הקיברנטיקה.
קידוד
וזרקו מטבעות, ומכוניות חולפות לאדומים למספרים 0 ו -1. כדי לדווח על אירועים המתרחשים בחללים, עליך לחשוב על דרך לתאר אירועים אלה. תיאור זה נקרא קידוד.
ניתן לקודד הודעות במספר אינסופי של דרכים שונות. אבל שאנון הראתה שהקוד הקצר ביותר לא יכול להיות קטן יותר בסיביות מהאנטרופיה.
לכן האנטרופיה של מסר היא מדדמידע בהודעה. מכיוון שבכל המקרים הנחשבים מספר הביטים במהלך הקידוד שווה לאנטרופיה, זה אומר שהקידוד היה אופטימלי. בקיצור, כבר לא ניתן לקודד הודעות על אירועים במרחבים שלנו.
עם קידוד אופטימלי, אתה לא יכול להפסיד אולעוות ביט בודד משודר בהודעה. אם אפילו ביט אחד יאבד, המידע יתעוות. אבל כל ערוצי התקשורת האמיתיים אינם מספקים ביטחון של 100 אחוז שכל חלקי המסר יגיעו אל הנמען ללא מעוות.
כדי לתקן בעיה זו אתה צריך לעשותהקוד אינו אופטימלי, אבל מיותר. למשל, שדר יחד עם ההודעה את ה-checksum שלה - ערך מחושב במיוחד המתקבל בעת המרת קוד ההודעה, וניתן לאמתו על ידי חישוב מחדש עם קבלת ההודעה. אם סכום הבדיקה המועבר תואם לזה המחושב, ההסתברות שהשידור היה נקי מטעויות תהיה גבוהה למדי. ואם סכום הבדיקה אינו תואם, אז יש לבקש שידור חוזר. כך בערך פועלים רוב ערוצי התקשורת כיום, למשל, בעת העברת חבילות מידע דרך האינטרנט.
הודעות שפה טבעית
שקול את שטח האירוע שמכילמ הודעות בשפה טבעית. זהו מקרה מיוחד, אבל אחד החשובים ביותר. האירועים כאן יהיו התווים המועברים (אותיות של אלפבית קבוע). תווים אלה נמצאים בשפה עם הסתברויות שונות.
סמל התדירות ביותר (כלומר אחדהוא נמצא לרוב בכל טקסטים שנכתבו ברוסית) הוא שטח: של אלף תווים, שטח ממוצע נמצא 175 פעמים. השני בתדירות הוא הסמל "o" - 90, ואחריו תנועות אחרות: "e" (או "e" - לא נבדיל מהם) - 72, "a" - 62, ו- i-62, ורק הלאה את העיצור הראשון "לא" - 53. ואת הנדיר "F" - סמל זה נמצא רק פעמיים לאלף תווים.
נשתמש באלפבית של 31 אותיות ברוסיתהשפה (היא לא שונה "e" ו "e", כמו גם "ð" ו "È"). אם כל האותיות נתקלו בשפה עם אותה הסתברות, אזי האנטרופיה לסמל תהיה H = 5 סיביות, אבל אם ניקח בחשבון את התדרים האמיתיים של הסמלים, האנטרופיה תהיה פחות: H = 4.35 סיביות. (זה כמעט פי שניים פחות מאשר עם קידוד המסורתית, כאשר הדמות מועברת כבית - 8 סיביות).
אבל האנטרופיה של הדמות בשפה היא אפילו נמוכה יותר. ההסתברות להתרחשות התו הבא לא נקבעת מראש על ידי התדירות הממוצעת של הדמות בכל הטקסטים. איזה תו עוקב תלוי בתווים שכבר הועברו. לדוגמה, ברוסית המודרנית לאחר הסמל "ð" לא יכול לעקוב אחר צליל סמל עיצורים. לאחר שתי תנועות רצופות "e", התנועה השלישית "e" מופיעה לעתים נדירות ביותר, אלא אם כן המילה "צוואר ארוך". כלומר, הדמות הבאה היא במידה מסוימת מראש. אם ניקח בחשבון את הסגירה הבאה של הסמל הבא, אי הוודאות (כלומר, המידע) של הסמל הבא תהיה אפילו פחות מ 4.35. על פי כמה הערכות, את הסימן הבא ברוסית נקבע מראש על ידי המבנה של השפה על ידי יותר מ 50%, כלומר, עם קידוד אופטימלי, כל המידע יכול להיות מועבר על ידי מחיקת חצי מכתבים מהודעה.
דבר נוסף הוא שלא כל מכתב ניתן למחוק בבטחה. תדירות גבוהה "o" (ובדרך כלל תנועות), למשל, קל לעבור החוצה, אבל נדיר "F" או "דואר" הוא בעייתי למדי.
השפה הטבעית שבה אנו מתקשרים זה עם זה היא מיותרת ביותר, ולכן אמינה; אם שמענו משהו לא נכון, זה בסדר, המידע עדיין ישודר.
אבל עד שאנון הציג את אמצעי המידע, לא יכולנו להבין שהשפה היא מיותרת, ועד כמה אנחנו יכולים לדחוס את המסרים (ומדוע קובצי טקסט כל כך דחוסים על ידי הארכיון).
יתירות שפה טבעית
במאמר "על הדרך בה אנו vorpsimaniem teckt"(השם נשמע בדיוק כך!) קטע של הרומן של קן האצילים של איוון טורגנייב נלקח ונתפס באיזושהי טרנספורמציה: 34% מהאותיות, אך לא אקראיות, נמחקו מן השבר. האותיות הראשונות והאחרונות במלים נותרו, רק תנועות נמחקו, ולא הכול. המטרה הייתה לא רק לקבל את ההזדמנות לשחזר את כל המידע על הטקסט המומר, אלא גם כדי להבטיח כי אדם קורא את הטקסט הזה לא נתקל בקשיים מסוימים עקב מכתבים חסרים.
למה קל יחסית לקרוא את זה פגוםטֶקסט? הוא למעשה מכיל את המידע הדרוש כדי לשחזר מילים שלמות. לדובר רוסית שפת אם יש קבוצה מסוימת של אירועים (מילים ומשפטים שלמים) שבהם הוא משתמש בהכרה. בנוסף, עומדים לרשות הדובר גם מבני שפה סטנדרטיים שעוזרים לו לשחזר מידע. לדוגמה,"היא blae blee"- בסבירות גבוהה ניתן לקרוא כ"היא היתה רגישה יותר".. אבל נלקח בנפרד"היא יותר בלה", במקום זאת, ישוחזר כ"היא היתה לבנה". מאז בתקשורת היומיומית אנחנו עוסקיםעם ערוצים שיש בהם רעש והפרעות, אנחנו די טובים בשחזור מידע, אבל רק את זה שאנחנו כבר יודעים מראש. למשל, הביטוי"התווים שלה הם לא לפחות נעים, htya nmngo rspkhli ו להתיז"קורא היטב חוץ מהמילה האחרונה"Splash" - "rallied". המילה הזו לא נמצאת בלקסיקון המודרני. כשקוראים מילה במהירות"Splash"נקרא יותר כמו "תקועים יחד"; כאשר הוא איטי, זה פשוט מבלבל.
דיגיטליות אותות
צליל, או תנודות אקוסטיות, הוא סינוסי. ניתן לראות זאת, לדוגמה, במסך עורך הצלילים. כדי להעביר במדויק את הצליל, תזדקק למספר אינסופי של ערכים - גל הסינוס כולו. זה אפשרי עם חיבור אנלוגי. הוא שר - אתה מקשיב, המגע לא מופרע בזמן שהשיר נמשך.
בתקשורת דיגיטלית על ערוץ, אנו יכולים להעביר רק מספר סופי של ערכים. האם זה אומר שלא ניתן לשחזר את הצליל בצורה מדויקת? מסתבר שלא.
צלילים שונים הם גל סינוס בעל אפנון שונה.אנו מעבירים רק ערכים נפרדים (תדרים ואמפליטודות), וגל הסינוס עצמו אינו צריך להיות מועבר - המכשיר המקבל יכול ליצור אותו.הוא יוצר סינוסואיד, והוא מונח עליואפנון שנוצר מערכים המועברים בערוץ תקשורת. ישנם עקרונות מדויקים שבהם יש להעביר ערכים בדידים כך שהצליל בכניסה לערוץ התקשורת יתאים לצליל במוצא, כאשר הערכים הללו מוצבים על גבי סינוסואיד סטנדרטי כלשהו (זהו המשפט של קוטלניקוב על אודות).
משפטו של קוטליניקוב (בספרות אנגלית - משפט נייקוויסט - שאנון, משפט הקריאה)- אמירה יסודית בתחום הדיגיטלעיבוד אותות, חיבור אותות רציפים ודיסקרטים והצהרה כי "כל פונקציה F(t), המורכבת מתדרים מ-0 עד f1, יכולה להיות משודרת ברציפות בכל דיוק תוך שימוש במספרים העוקבים זה אחר זה עד 1/(2*f1) שניות
נגד הפרעות קידוד. קודי Hamming
אם בערוץ לא מהימן להעברהטקסט מקודד של איוון טורגנייב, אם כי עם כמה שגיאות, תביא טקסט משמעותי למדי. אבל אם אנחנו צריכים להעביר הכל עד קצת, המשימה תהיה בלתי פתורה: אנחנו לא יודעים איזה סיביות טועים, כי השגיאה היא אקראית. אפילו בדיקת המצב לא תמיד מצילה.
זו הסיבה שהיום משדרים נתוניםרשתות לא נוטות לקידוד אופטימלי, שבו ניתן לדחוף את כמות המידע המקסימלית לערוץ, אלא לקידוד כזה (מיותר כמובן) שבו ניתן לשחזר שגיאות - בדיוק כמו כאשר אנו קוראים את המילים בקטע של איוון טורגנייב.
ישנם קודי שגיאה מיוחדים תיקון המאפשרים לך לשחזר מידע לאחר כישלון. אחד מהם הוא קוד Hamming.נניח שכל השפה שלנו מורכבת משלוש מילים:111000, 001110, 100011. גם מקור ההודעה וגם המקבל יודעים את המילים הללו. ואנחנו יודעים שגיאות מתרחשות בערוץ תקשורת, אבל כאשר משדרים מילה אחת, לא יותר מסיבית מידע אחת מתעוותת.
נניח שאנחנו הראשונים להעביר את המילה 111000. כתוצאה מכך, לא יותר משגיאה אחת (זיהינו את השגיאה) זה יכול להפוך את אחת המילים:
1) 111000,011,000, 101000, 110000, 111100, 111010, 111001.
כאשר מעבירים את המילה 001110, כל אחת מהמילים ניתן להשיג:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
לבסוף, עבור 100011 אנחנו יכולים לקבל בקבלה:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
שים לב שכל שלוש הרשימות אינן זוגיות.מצטלבים. במילים אחרות, אם בקצה השני של ערוץ התקשורת מופיעה מילה מרשימה 1, הנמען יודע בוודאות כי המילה 111000 הועברה אליו, ואם מופיעה מילה מתוך הרשימה 2, המילה 001110, ומרשימה 3, מופיעה המילה 100011. הם אומרים כי הקוד שלנו קבוע שגיאה אחת.
התיקון התרחש עקב שני גורמים.ראשית, הנמען מכיר את כל "המילון", כלומר, מרחב האירוע של נמען ההודעה תואם את מרחב הממסר של ההודעה. כאשר הקוד הועבר עם שגיאה אחת בלבד, יצאה מילה, שלא הייתה במילון.
שנית, המילים במילון נבחרו בדרך מיוחדת.גם אם אירעה שגיאה, הנמען לא יכול היהלבלבל מילה אחת עם אחרת. לדוגמה, אם המילון מורכב מהמילים "בת", "נקודה", "בליטה", ובמהלך השידור התוצאה הייתה "vochka", אז הנמען, ביודעו שמילה כזו אינה קיימת, לא יוכל תקן את השגיאה - כל אחת משלוש המילים עשויה להתברר כנכונה. אם המילון כולל "נקודה", "דו", "ענף" ואנו יודעים שלא מותרת יותר משגיאה אחת, אז "ווצ'קה" היא בהחלט "נקודה" ולא "דוו". בקודים לתיקון שגיאות, מילים נבחרות בצורה מדויקת כך שהן "ניתנות לזיהוי" גם לאחר שגיאה. ההבדל היחיד הוא שלקוד "אלפבית" יש רק שתי אותיות - אפס ואחת.
היתירות של קידוד כזה היא גדולה מאוד, ומספר המילים שאנחנו יכולים להעביר הוא קטן יחסית.אנחנו צריכים להוציא כל מילה מהמילון,שבמקרה של שגיאה עשויה להתאים לכל הרשימה התואמת למילים המועברות (לדוגמה, המילים "בת" ו"נקודה" אינן יכולות להיות במילון). אבל העברת הודעות מדויקת היא כל כך חשובה, שמאמץ רב מושקע במחקר של קודים עמידים לשגיאות.
תחושה
מושגי אנטרופיה (או חוסר ודאות)אי-צפיה) של המסר והיתירות (או קביעה מראש וחיזוי) מתואמים באופן טבעי לרעיונות האינטואיטיביים שלנו לגבי מידת המידע. ככל שהמסר לא צפוי יותר (ככל שהאנטרופיה שלו גבוהה יותר, כי יש פחות סיכוי), כך הוא יגיע יותר למידע. תחושה (למשל, פגישה עם תנין על Tverskaya) הוא אירוע נדיר, יכולת הניבוי שלה נמוכה מאוד, ולכן ערך המידע הוא גבוה. לעתים קרובות המידע נקרא חדשות - דיווחים על אירועים שהתרחשו זה עתה, שעדיין איננו יודעים עליהם דבר. אבל אם יספרו לנו על הפעם השנייה והשלישית על אותן מילים, יתירות המסר תהיה גדולה, חוסר היציבות שלה יירד לאפס, ואנחנו פשוט לא נשמע, מנופף לדובר עם המילים "אני יודע, אני יודע". לכן, התקשורת מנסה כל כך קשה להיות הראשון. התכתבות זו לתחושת החידוש האינטואיטיבית, שהולידה חדשות בלתי צפויות, מילאה תפקיד מרכזי בכך שכתבה של שאנון, שלא נועדה לקורא הכללי, הפכה לתחושה, שהעיתונות גילתה כמפתח אוניברסלי לידע של הטבע. - מ בלשנים ומבקרי ספרות ביולוגים.
אבלShannon מידע קונספט - תיאוריה מתמטית קפדניתויישומה מחוץ לתיאוריית התקשורת הוא מאוד לא מהימן. אבל בתיאוריית התקשורת עצמה היא ממלאת תפקיד מרכזי.
מידע סמנטי
שאנון, מציג את מושג האנטרופיה כמדדמידע, קיבל את ההזדמנות לעבוד עם מידע - קודם כל, למדוד אותו ולהעריך מאפיינים כמו קיבולת ערוץ או קידוד אופטימלי. אבל ההנחה העיקרית שאפשרה לשאנון לפעול בהצלחה עם מידע הייתה ההנחה שיצירת מידע היא תהליך אקראי שניתן לתאר בהצלחה במונחים של תורת ההסתברות.אם התהליך הוא לא אקראי, כלומר, הוא מציית לחוקים (יתר על כן, זה לא תמיד ברור, כפי שזה קורה בשפה טבעית), ואז חשיבה של שאנון אינו חל על זה.שום דבר שאנון אומר לא קשור למשמעות של המידע.
בעוד אנו מדברים על תווים (או אותיות של האלפבית),אנו יכולים לטעון היטב במונחים של אירועים אקראיים, אבל ברגע שנגיע למילות השפה, המצב ישתנה באופן דרמטי. דיבור הוא תהליך מאורגן במיוחד, וכאן מבנה המסר הוא לא פחות חשוב מהתווים שבהם הוא מועבר.
רק לאחרונה נראה היה שאנחנו לא יכולים לעשות כלום.נעשה כדי להתקרב לפחות איכשהו למדידת המשמעות של הטקסט, אבל בשנים האחרונות המצב החל להשתנות. וזה נובע בעיקר מהשימוש ברשתות עצביות מלאכותיות למשימות של תרגום מכונה, סיכום אוטומטי של טקסטים, חילוץ מידע מטקסטים והפקת דוחות בשפה טבעית. כל המשימות הללו כוללות טרנספורמציה, קידוד ופענוח של מידע משמעותי הכלול בשפה טבעית. ובהדרגה נוצר רעיון לגבי אובדן מידע במהלך טרנספורמציות כאלה, ולכן לגבי היקף המידע המשמעותי. אבל כיום, הבהירות והדיוק שיש לתורת המידע של שאנון עדיין אינם זמינים בבעיות הקשות הללו.