Nejauša notikumu telpa
1946. gadā amerikāņu statistiķis Džons Tukijs ierosināja nosaukumu BIT
Iedomājieties nejaušu notikumu vietukas sastāv no vienas viltotas monētas, kuras abās pusēs ir ērglis, throwing. Kad ērglis nokrīt? Ir skaidrs, ka vienmēr. Mēs to zinām jau iepriekš, jo mūsu telpa ir tik sakārtota. Ērgļa krišana ir uzticams notikums, tas ir, tā varbūtība ir vienāda ar 1. Vai mēs sniegsim daudz informācijas, ja mēs sakām par kritušo ērgli? Nē Informācijas apjoms šādā ziņojumā tiks uzskatīts par vienādu ar 0.
Tagad apmetīsim godīgo monētu:vienā pusē tās ir galvas, bet otrā - astes, kā vajadzētu. Piezemēšanās galvas vai astes būs divi dažādi notikumi, kas veido mūsu nejaušo notikumu telpu. Ja ziņosim par vienas mešanas iznākumu, tā patiešām būs jauna informācija. Ja galviņas tiek nomestas, mēs ziņosim par 0, un, ja astes ir 1. Lai ziņotu par šo informāciju, mums ir nepieciešams tikai 1 bits.
Kas mainījās?Mūsu pasākumu telpā ir parādījusies neskaidrība. Mums par to ir ko pastāstīt kādam, kurš pats nemet monētu un neredz mešanas iznākumu. Taču, lai pareizi saprastu mūsu vēstījumu, viņam precīzi jāzina, ko mēs darām un ko nozīmē 0 un 1.Mūsu pasākumu telpām ir jāatbilst, un dekodēšanas process ir unikāls, lai atjaunotu metiena rezultātu.Ja raidītāja un uztvērēja notikumu telpa nesakrīt vai nav iespējama ziņojuma viennozīmīga atkodēšana, informācija paliks tikai troksnis sakaru kanālā.
Ja iemet divus neatkarīgi un vienlaicīgimonētas, tad būs četri dažādi vienlīdz iespējami rezultāti: galvas-galvas, galvas-astes, astes-galvas un astes-astes. Lai pārsūtītu informāciju, mums būs nepieciešami 2 biti, un mūsu ziņojumi būs šādi: 00, 01, 10 un 11. Informācijas ir divreiz vairāk. Tas notika tāpēc, ka pieauga nenoteiktība. Ja mēģinām uzminēt šādas pāra metiena iznākumu, mums ir divreiz lielāka iespēja kļūdīties.
Jo lielāka ir notikumu telpas nenoteiktība, jo vairāk informācijas satur ziņas par tās stāvokli.
Nedaudz sarežģīsim savu pasākumu telpu.Līdz šim visi notikušie notikumi bijuši vienlīdz iespējami. Bet reālajās telpās ne visiem notikumiem ir vienāda iespējamība. Pieņemsim, ka varbūtība, ka vārna, ko mēs ieraudzīsim, būs melna, ir tuvu 1. Varbūtība, ka pirmais garāmgājējs, ko satiksim uz ielas, būs vīrietis, ir aptuveni 0,5. Bet satikt krokodilu Maskavas ielās ir gandrīz neiespējami. Intuitīvi saprotam, ka ziņojumam par tikšanos ar krokodilu ir daudz lielāka informatīvā vērtība nekā ziņojumam par melno vārnu.Jo mazāka ir notikuma varbūtība, jo vairāk informācijas ziņojumā ir par šādu notikumu.
Ļaujiet, lai notikuma vieta nebūtu tik eksotiska. Mēs vienkārši stāvam pie loga un apskatām garām braucošos automobiļus. Braucot pa četru krāsu automašīnām, par kurām mums jāziņo. Lai to izdarītu, mēs kodēsim krāsas: melnās - 00, baltās - 01, sarkanās - 10, zilas - 11. Lai ziņotu tieši par to, kurš auto brauca, mums vienkārši jāpārsūta 2 biti informācijas.
Bet diezgan ilgi skatoties automašīnas,atzīmējam, ka automašīnu krāsa ir nevienmērīgi sadalīta: melna - 50% (katru sekundi), balta - 25% (katru ceturto), sarkana un zila - 12,5% (ik pēc astotā). Pēc tam varat optimizēt nosūtīto informāciju.
Lielākā daļa automašīnu ir melnas, tāpēcapzīmēsim melno — 0 — īsāko kodu un visu pārējo kodu sāksim ar 1. No atlikušās puses baltā — 10, bet pārējās krāsas sākas ar 11. Visbeidzot apzīmēsim sarkano — 110 un zilo — 111.
Tagad, nododot informāciju par automašīnas krāsu, mēs to varam kodēt ciešāk.
Shannon Entropija
Lai mūsu pasākumu telpa sastāv no ndažādi notikumi. Metot monētu ar divām galvām, ir tieši viens šāds notikums, metot vienu godīgu monētu ir tieši 2, metot divas monētas vai vērojot automašīnas, ir tieši 4. Katram notikumam ir tā iestāšanās varbūtība. Metot monētu ar divām galvām, notiek viens notikums (izkrīt galvas) un tā varbūtība ir p1 = 1. Metot godīgu monētu, ir divi notikumi, tie ir vienādi ticami un katra iespējamība ir 0,5: p1 = 0,5, p2 = 0,5. Izmetot divas godīgas monētas, ir četri notikumi, tie visi ir vienādi iespējami un katra iespējamība ir 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Vērojot automašīnas, ir četri notikumi, un tiem ir dažādas varbūtības: melns - 0,5, balts - 0,25, sarkans - 0,125, zils - 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
Tā nav nejaušība.Šenona izvēlējās entropiju (nenoteiktības mērs pasākuma telpā), lai izpildītu trīs nosacījumus:
- 1Uzticama notikuma entropija, kura varbūtība ir 1, ir vienāda ar 0.
- Divu neatkarīgu notikumu entropija ir vienāda ar šo notikumu entropiju summu.
- Entropija ir maksimāla, ja visi notikumi ir vienlīdz ticami.
Visas šīs prasības pilnībā atbilst mūsu prasībāmidejas par pasākuma telpas nenoteiktību. Ja ir tikai viens notikums (pirmais piemērs), nenoteiktības nav. Ja notikumi ir neatkarīgi - summas nenoteiktība ir vienāda ar nenoteiktību summu - tie vienkārši summējas (divu monētu mešanas piemērs). Un visbeidzot, ja visi notikumi ir vienādi iespējami, tad sistēmas nenoteiktības pakāpe ir maksimālā. Tāpat kā divu monētu mešanas gadījumā visi četri notikumi ir vienādi iespējami un entropija ir 2, tā ir lielāka nekā automašīnām, kad ir arī četri notikumi, bet tiem ir dažādas varbūtības - šajā gadījumā entropija ir 1.75.
Daudzumam H ir galvenā loma informācijas teorijā kā informācijas, izvēles un nenoteiktības mēraukla.
Klods Šenons
Claude Elwood Shannon- amerikāņu inženieris, kriptanalītiķis unmatemātiķis. Tiek uzskatīts par "informācijas laikmeta tēvu". Informācijas teorijas pamatlicējs, kas atradis pielietojumu mūsdienu augsto tehnoloģiju sakaru sistēmās. Sniegti fundamentālie jēdzieni, idejas un to matemātiskie formulējumi, kas šobrīd veido mūsdienu komunikācijas tehnoloģiju pamatu.
1948. gadā ierosināja lietot vārdu "bit"norādīt mazāko informācijas vienību. Viņš arī parādīja, ka viņa ievadītā entropija ir līdzvērtīga nenoteiktībai attiecībā uz nosūtīto ziņu. Šenona raksti "Komunikācijas matemātiskā teorija" un "Komunikācijas teorija slepenajās sistēmās" tiek uzskatīti par būtiskiem informācijas teorijā un kriptogrāfijā.
Otrā pasaules kara laikā Šenons strādāja Bell Laboratories, lai izstrādātu kriptogrāfijas sistēmas, kas vēlāk palīdzēja viņam atklāt kļūdu labošanas kodēšanas metodes.
Šenona ir devusi būtisku ieguldījumu varbūtību shēmu, spēļu teorijas, automātikas teorijas un kontroles sistēmas teorijas teorijā - zinātnes jomās, kas ir daļa no kibernētikas koncepcijas.
Kodēšana
Un mestas monētas, un garāmbraucošās automašīnas navir līdzīgi skaitļiem 0 un 1. Lai ziņotu par notikumiem telpās, jums ir jādomā par veidu, kā aprakstīt šos notikumus. Šo aprakstu sauc par kodēšanu.
Ziņojumus var kodēt bezgalīgi daudzos dažādos veidos. Bet Šenons parādīja, ka īsākais kods nevar būt mazāks bitos par entropiju.
Tāpēc ziņojuma entropija ir mērsinformācija ziņojumā. Tā kā visos aplūkotajos gadījumos bitu skaits kodēšanas laikā ir vienāds ar entropiju, tas nozīmē, ka kodējums bija optimāls. Īsāk sakot, vairs nav iespējams kodēt ziņojumus par notikumiem mūsu telpās.
Ar optimālu kodēšanu jūs nevarat zaudēt vaiizkropļot vienu pārraidīto bitu ziņojumā. Ja tiek zaudēts kaut viens bits, informācija tiks izkropļota. Taču visi īstie saziņas kanāli nenodrošina 100 procentu pārliecību, ka visi ziņojuma fragmenti adresātu sasniegs neizkropļoti.
Lai atrisinātu šo problēmu, jums jādarakods nav optimāls, bet lieks. Piemēram, pārsūtiet kopā ar ziņojumu arī tā kontrolsummu - īpaši aprēķinātu vērtību, kas iegūta, pārveidojot ziņojuma kodu, un kuru var pārbaudīt, pārrēķinot pēc ziņojuma saņemšanas. Ja pārsūtītā kontrolsumma sakrīt ar aprēķināto, varbūtība, ka pārraide bija bez kļūdām, būs diezgan augsta. Un, ja kontrolsumma nesakrīt, tad jāpieprasa atkārtota pārraide. Aptuveni šādi mūsdienās darbojas lielākā daļa saziņas kanālu, piemēram, pārsūtot informācijas paketes internetā.
Dabiskās valodas ziņas
Apsveriet notikumu vietu, kas sastāvno amatiem dabiskajā valodā. Tas ir īpašs gadījums, bet viens no svarīgākajiem. Notikumi būs pārraidītās rakstzīmes (fiksēta alfabēta burti). Šīs rakstzīmes ir atrodamas valodā ar dažādām varbūtībām.
Visbiežāk sastopamais simbols (t.i.visbiežāk sastopams visos krievu valodā rakstītajos tekstos) ir telpa: tūkstoš rakstzīmēm, vidējā telpa ir 175 reizes. Otrais biežums ir simbols "o" - 90, kam seko citi patskaņi: "e" (vai "e" - mēs tos neatšķiram) - 72, "a" - 62 un i - 62, un tikai tālāk pirmais līdzskaņotājs "t" - 53. Un retākais "f" - šis simbols tiek atrasts tikai divreiz par tūkstoš rakstzīmēm.
Mēs izmantosim krievu 31 burtu alfabētuvaloda (tas neatšķiras no "e" un "e", kā arī "ъ" un "ь"). Ja visi burti būtu sastopami valodā ar tādu pašu varbūtību, tad katram simbolam entropija būtu H = 5 biti, bet, ja ņemam vērā simbolu reālās frekvences, entropija būs mazāka: H = 4.35 biti. (Tas ir gandrīz divas reizes mazāks nekā tradicionālās kodēšanas gadījumā, kad rakstzīme tiek pārraidīta kā baits - 8 biti).
Bet valodas rakstura entropija ir vēl zemāka. Nākamās rakstzīmes rašanās varbūtību pilnībā nenosaka rakstzīmju vidējais biežums visos tekstos. Kura rakstzīme būs atkarīga no jau pārsūtītajām rakstzīmēm. Piemēram, mūsdienu krievu valodā pēc simbola "ъ" nevar sekot līdzskaņa simbola skaņai. Pēc diviem secīgiem patskaņiem "e" trešais patskanis "e" ļoti reti, ja vien tas nav vārds "ilgi kakls". Tas nozīmē, ka nākamais raksturs zināmā mērā ir iepriekš noteikts. Ja ņemam vērā šādu nākamā simbola iepriekšnoteikto, nākamā simbola nenoteiktība (ti, informācija) būs pat mazāka par 4.35. Saskaņā ar dažām aplēsēm šādu simbolu krievu valodā nosaka valodas struktūra vairāk nekā par 50%, tas ir, ar optimālu kodēšanu visu informāciju var nosūtīt, dzēšot pusi no vēstules burtiem.
Vēl viena lieta ir tā, ka katru burtu nevar droši izdzēst. Augstas frekvences "o" (un parasti patskaņi), piemēram, ir viegli šķērsot, bet reti "f" vai "e" ir diezgan problemātiski.
Dabiskā valoda, kurā mēs sazināmies viens ar otru, ir ļoti lieka un tāpēc uzticama; ja mēs kaut ko nepareizi dzirdējām, tas ir labi, informācija joprojām tiks pārsūtīta.
Bet līdz brīdim, kad Shannon iepazīstināja ar informācijas mērvienību, mēs nespējām saprast, ka valoda ir lieka, un cik lielā mērā mēs varam saspiest ziņojumus (un kāpēc arhivētājs ir tik labi saspiests teksta failus).
Dabas valodas atlaišana
Rakstā "Par to, kā mēs vorpsimanie tektkt"(vārds izklausās tieši tā, kā tas notika!) tika uzņemts Ivana Turgeneva Noble Nest romāna fragments, kas tika pakļauts kādai transformācijai: no fragmenta tika izdzēsti 34% burtu, bet ne izlases. Pirmie un pēdējie burti vārdos tika atstāti, tikai dziedājumi tika dzēsti, nevis visi. Mērķis bija ne tikai iegūt iespēju atgūt visu informāciju par konvertēto tekstu, bet arī nodrošināt, lai persona, kas lasa šo tekstu, nespētu saskarties ar īpašām grūtībām trūkstošo burtu dēļ.
Kāpēc ir salīdzinoši viegli lasīt šo bojātuteksts? Tas faktiski satur visu vārdu rekonstrukcijai nepieciešamo informāciju. Krievu valodai dzimtā valoda ir noteikts notikumu kopums (vārdi un veseli teikumi), ko viņš izmanto atpazīšanai. Turklāt runātāja rīcībā ir arī standarta valodas struktūras, kas palīdz viņam atgūt informāciju. Piemēram,"Viņa ir blee blee"- ar lielu varbūtību var lasīt kā"Viņa bija jutīgāka.". Bet ņemts atsevišķi"Viņa ir vairāk blah", drīzāk tiks atjaunots kā"Viņa bija baltāka". Tā kā ikdienas komunikācijā mēs nodarbojamiesar kanāliem, kuros ir troksnis un traucējumi, mēs diezgan labi spējam atjaunot informāciju, bet tikai to, ko jau zinām iepriekš. Piemēram, frāze"Viņas iezīmes nav patīkami, htya nmngo rspkhli un splash"labi lasa, izņemot pēdējo vārdu"Splash" - "rallied". Šī vārda mūsdienu leksikā nav. Ātri lasot vārdu"Splash"vairāk skan kā “salipuši kopā”; kad tas ir lēns, tas vienkārši satrauc.
Signālu digitalizācija
Skaņa vai akustiskās svārstības ir sinusoids. To var redzēt, piemēram, skaņas redaktora ekrānā. Lai precīzi pārraidītu skaņu, jums būs vajadzīgs bezgalīgs vērtību skaits - visa sinusa vilnis. Tas ir iespējams ar analogo savienojumu. Viņš dzied - jūs klausāties, kontakts netiek pārtraukts, kamēr dziesma ilgst.
Digitālajā saziņā pa kanālu mēs varam pārraidīt tikai ierobežotu skaitu vērtību. Vai tas nozīmē, ka skaņu nevar reproducēt precīzi? Izrādās, ka nē.
Dažādas skaņas ir atšķirīgi modulēts sinusoidāls vilnis.Mēs pārraidām tikai diskrētas vērtības (frekvences un amplitūdas), un sinusoāls pats nav jāpārsūta - saņēmēja ierīce to var ģenerēt.Tas ģenerē sinusoīdu un tiek uzlikts uz tāmodulācija, kas izveidota no vērtībām, kas tiek pārraidītas pa sakaru kanālu. Ir precīzi principi, kuri diskrētās vērtības jāpārraida, lai skaņa komunikācijas kanāla ieejā sakristu ar skaņu izejā, kur šīs vērtības tiek uzliktas uz kāda standarta sinusoīda (tā ir Koteļņikova teorēma par).
Kotelnikova teorēma (angļu valodas literatūrā - Nyquist - Shannon teorēma, lasīšanas teorēma)- fundamentāls paziņojums digitālajā jomāsignālu apstrāde, savienojot nepārtrauktus un diskrētus signālus un norādot, ka “jebkuru funkciju F(t), kas sastāv no frekvencēm no 0 līdz f1, var nepārtraukti pārraidīt ar jebkuru precizitāti, izmantojot skaitļus, kas seko viens otram 1/(2*f1) sekundēs.
Kodēšana pret traucējumiem. Hamminga kodi
Ja neuzticams kanāls pārraidīšanaiIvan Turgenev kodētais teksts, kaut arī ar dažām kļūdām, radīs diezgan nozīmīgu tekstu. Bet, ja mums viss ir jāpārsūta līdz mazliet, uzdevums būs neatrisināts: mēs nezinām, kuri biti ir nepareizi, jo kļūda ir nejauša. Pat kontrolsumma ne vienmēr tiek saglabāta.
Tāpēc šodien, pārsūtot datus partīkliem nav tik daudz optimālu kodēšanu, kurā maksimālo informācijas apjomu var ievietot kanālā, bet drīzāk tādu kodēšanu (acīmredzami lieku), kurā var atgūt kļūdas - tāpat kā tad, kad mēs lasām vārdus Ivan Turgenev fragmentā.
Ir īpaši kļūdas labošanas kodi, kas ļauj jums pēc atgūšanas atgūt informāciju. Viens no tiem ir Hamminga kods.Pieņemsim, ka visa mūsu valoda sastāv no trim vārdiem:111000, 001110, 100011. Šos vārdus zina gan ziņojuma avots, gan saņēmējs. Un mēs zinām, ka saziņas kanālā rodas kļūdas, bet, pārraidot vienu vārdu, tiek sagrozīts ne vairāk kā viens informācijas bits.
Pieņemsim, ka mēs vispirms nodosim vārdu 111000. Tā rezultātā ne vairāk kā viena kļūda (mēs esam identificējuši kļūdu) var kļūt par vienu no vārdiem:
1) 111 000,011 000, 101000, 110000, 111100, 111010, 111001.
Nosūtot vārdu 001110, kāds no vārdiem var būt:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Visbeidzot, par 100011 mēs varam nokļūt reģistratūrā:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Ņemiet vērā, ka visi trīs saraksti nav atsevišķi.krustojas. Citiem vārdiem sakot, ja sakaru kanāla otrā galā parādās kāds no 1. saraksta vārdiem, saņēmējs zina, ka viņam ir nosūtīts vārds 111000, un, ja parādās kāds no 2. saraksta vārdiem, vārds 001110 un 3. sarakstā parādās vārds 100011. Viņi saka, ka mūsu kods fiksēja vienu kļūdu.
Korekcija notika divu faktoru dēļ.Pirmkārt, saņēmējs zina visu “vārdnīcu”, t. i., ziņojuma saņēmēja notikumu telpa sakrīt ar tās personas telpu, kas nosūtīja ziņojumu. Kad kods tika nosūtīts tikai ar vienu kļūdu, parādījās vārds, kas nebija vārdnīcā.
Otrkārt, vārdnīcas vārdi tika izvēlēti īpašā veidā.Pat ja radās kļūda, adresāts to nevarēja izdarītsajaukt vienu vārdu ar otru. Piemēram, ja vārdnīca sastāv no vārdiem "meita", "punkts", "pucis", un pārraides laikā rezultāts bija "vochka", tad saņēmējs, zinot, ka šāds vārds neeksistē, nevarētu izlabojiet kļūdu - jebkurš no trim vārdiem var izrādīties pareizs. Ja vārdnīcā ir “punkts”, “daw”, “zars” un mēs zinām, ka nav pieļaujama vairāk kā viena kļūda, tad “vochka” noteikti ir “punkts”, nevis “daw”. Kļūdu labošanas kodos vārdi tiek izvēlēti precīzi, lai tie būtu “atpazīstami” arī pēc kļūdas. Vienīgā atšķirība ir tā, ka kodam “alfabēts” ir tikai divi burti - nulle un viens.
Šādas kodēšanas atlaišana ir ļoti liela, un to vārdu skaits, ko mēs tādējādi varam nodot, ir salīdzinoši neliels.Mums ir jāizslēdz jebkurš vārds no vārdnīcas,kas kļūdas gadījumā var sakrist ar visu sarakstu, kas atbilst pārsūtītajiem vārdiem (piemēram, vārdnīcā nevar atrasties vārdi “meita” un “punkts”). Taču precīza ziņojumu pārraide ir tik svarīga, ka tiek tērētas lielas pūles, lai pētītu kļūdainošos kodus.
Sensācija
Entropijas jēdzieni (vai nenoteiktība un. \ Tneprognozējamība) un atlaišana (vai iepriekšēja un paredzama) ļoti dabiski atbilst mūsu intuitīvajām idejām par informācijas mērījumu. Jo vairāk informācijas neparedzams (jo lielāks ir tā entropija, jo ir mazāka iespēja), jo vairāk informācijas. Sajūta (piemēram, tikšanās ar krokodilu par Tverskaju) ir reti notikums, tā paredzamība ir ļoti zema, un tāpēc informācijas vērtība ir augsta. Bieži vien informācija tiek saukta par ziņām - ziņojumi par tikko notikušajiem notikumiem, par kuriem mēs joprojām neko nezinām. Bet, ja viņi mums pastāstīs par otro un trešo reizi par tiem pašiem vārdiem, tad ziņojuma atlaišana būs liela, tā neparedzamība samazināsies līdz nullei, un mēs vienkārši neklausīsimies, neaizmirstot no runātāja ar vārdiem "Es zinu, es zinu." Tādēļ mediji cenšas būt tik pirmie. Šī atbilstība intuitīvajai novitātes izjūtai, kas rada patiešām negaidītas ziņas, ir bijusi nozīmīga, jo Šenona raksts, kas nebija paredzēts vispārējam lasītājam, kļuva par sajūtu, kuru presē paņēma kā universālu dabas zināšanu atslēgu. - no lingvistiem un literatūras kritiķiem uz biologiem.
BetShannon informācijas koncepcija - stingra matemātiskā teorijaun tās piemērošana ārpus komunikācijas teorijas ir ļoti neuzticama. Taču komunikācijas teorijā tai ir galvenā loma.
Semantiskā informācija
Šenons, ieviešot entropijas kā mēra jēdzienuinformāciju, ieguva iespēju strādāt ar informāciju – pirmkārt, to izmērīt un novērtēt tādas īpašības kā kanāla kapacitāte vai optimālā kodēšana. Bet galvenais pieņēmums, kas ļāva Šenonam veiksmīgi darboties ar informāciju, bija pieņēmums, ka informācijas ģenerēšana ir nejaušs process, ko var veiksmīgi aprakstīt varbūtības teorijas izteiksmē.Ja process ir nejaušs, tas ir, tas pakļaujas likumiem (turklāt ne vienmēr ir skaidrs, kā tas notiek dabiskajā valodā), tad Shannon argumenti tam nav piemērojami.Nekam, ko Šenons saka, nav nekā kopīga ar informācijas nozīmīgumu.
Kamēr mēs runājam par rakstzīmēm (vai alfabēta burtiem),mēs varam labi apgalvot pēc nejaušiem notikumiem, bet tiklīdz mēs nokļūstim valodas vārdos, situācija dramatiski mainīsies. Runa ir process, kas ir īpaši organizēts, un ziņojuma struktūra ir ne mazāk svarīga kā rakstzīmes, ar kurām tā tiek pārraidīta.
Pavisam nesen likās, ka neko nevaram izdarīt.darīts, lai vismaz kaut kā pietuvotos teksta jēgpilnības mērīšanai, taču pēdējos gados situācija ir sākusi mainīties. Un tas galvenokārt ir saistīts ar mākslīgo neironu tīklu pielietojumu mašīntulkošanai, automātiskai tekstu apkopošanai, informācijas iegūšanai no tekstiem un atskaišu ģenerēšanai dabiskā valodā. Visi šie uzdevumi ietver jēgpilnas informācijas pārveidošanu, kodēšanu un dekodēšanu dabiskajā valodā. Un pamazām veidojas priekšstats par informācijas zudumiem šādu transformāciju laikā un līdz ar to arī par jēgpilnas informācijas apjomu. Taču šodien Šenona informācijas teorijas skaidrība un precizitāte vēl nav pieejama šajās sarežģītajās problēmās.