Satunnainen tapahtumapaikka
Vuonna 1946 amerikkalainen tilastotieteilijä John Tukey ehdotti nimeä BIT
Kuvittele satunnaisia tapahtumiajoka koostuu yhden väärennettyjen kolikoiden heittämisestä, jonka molemmin puolin on kotka. Milloin kotka putoaa? On selvää, että aina. Tiedämme tämän etukäteen, koska tila on niin järjestetty. Kotkan putoaminen on luotettava tapahtuma, eli sen todennäköisyys on yhtä suuri kuin 1. Annammeko paljon tietoa, jos sanomme pudotetusta kotka? Nro Tietojen määrä tällaisessa viestissä katsotaan yhtä suureksi kuin 0.
Heitetään nyt reilu kolikko:toisella puolella se on päätä ja toisaalta häntää, kuten sen pitäisi olla. Laskeutumispäät tai hännät ovat kaksi erilaista tapahtumaa, jotka muodostavat satunnaisten tapahtumien tilan. Jos raportoimme yhden heiton tuloksen, se on todellakin uutta tietoa. Jos päät putoavat, raportoimme 0, ja jos hännät ovat 1. Tämän tiedon raportoimiseksi tarvitsemme vain 1 bitin.
Mikä muuttui?Tapahtumatilaan on ilmaantunut epävarmuus. Meillä on kerrottavaa siitä henkilölle, joka ei itse heitä kolikkoa eikä näe heiton lopputulosta. Mutta ymmärtääkseen viestimme oikein, hänen on tiedettävä tarkalleen, mitä teemme ja mitä 0:t ja 1:t tarkoittavat.Tapahtumien tilojen on oltava sopusoinnussa, ja dekoodausprosessi on ainutlaatuinen palauttaa heittää tulos.Jos lähettimen ja vastaanottimen tapahtumaavaruus ei täsmää tai viestin yksiselitteiseen dekoodaukseen ei ole mahdollista, tieto jää vain kohinaksi viestintäkanavassa.
Jos heität kaksi itsenäisesti ja samanaikaisestikolikoita, tulee neljä erilaista yhtä todennäköistä tulosta: päät-päät, päät-hännät, hännänpäät ja hännät-hännät. Tietojen lähettämiseen tarvitsemme 2 bittiä, ja viestimme ovat seuraavat: 00, 01, 10 ja 11. Tietoa on kaksi kertaa enemmän. Tämä tapahtui, koska epävarmuus lisääntyi. Jos yritämme arvata tällaisen parillisen heiton lopputuloksen, meillä on kaksinkertainen mahdollisuus olla väärässä.
Mitä suurempi tapahtumatilan epävarmuus on, sitä enemmän tietoa sen tilasta viesti sisältää.
Monimutkaistaan hieman tapahtumatilaamme.Tähän mennessä kaikki tapahtuneet ovat olleet yhtä todennäköisiä. Mutta todellisissa tiloissa kaikilla tapahtumilla ei ole yhtä suuri todennäköisyys. Oletetaan, että todennäköisyys, että näkemämme varis on musta, on lähellä 1. Todennäköisyys, että ensimmäinen kadulla kohtaamamme ohikulkija on mies, on noin 0,5. Mutta krokotiilin tapaaminen Moskovan kaduilla on melkein mahdotonta. Intuitiivisesti ymmärrämme, että raportilla tapaamisesta krokotiilin kanssa on paljon suurempi tietoarvo kuin mustavarisesta.Mitä pienempi on tapahtuman todennäköisyys, sitä enemmän tietoa viestistä tällaisesta tapahtumasta.
Anna tapahtumapaikan olla niin eksoottinen. Pysymme vain ikkunassa ja katsomme kulkevia autoja. Neljä väriä kulkevat autot kulkevat ohi, mitä meidän on raportoitava. Tätä varten koodataan värit: musta - 00, valkoinen - 01, punainen - 10, sininen - 11. Jotta voisimme raportoida tarkasti, mikä auto ajoi, meidän täytyy vain siirtää 2 bittiä tietoa.
Mutta melko pitkään katsomassa autoja,huomaamme, että autojen väri jakautuu epätasaisesti: musta - 50% (joka sekunti), valkoinen - 25% (joka neljäs), punainen ja sininen - 12,5% (joka kahdeksas). Sitten voit optimoida lähetetyt tiedot.
Suurin osa autoista on siis mustiamerkitään musta - 0 - lyhin koodi ja kaikkien muiden koodi alkaa 1:stä. Jäljellä olevasta puoliskosta valkoinen - 10 ja loput värit alkavat numerosta 11. Merkitään lopuksi punainen - 110 ja sininen - 111.
Nyt, välittämällä tietoa auton väristä, voimme koodata sen tarkemmin.
Shannon Entropy
Olkoon tapahtumatilamme koostuva nerilaisia tapahtumia. Kun heitetään kolikkoa, jossa on kaksi päätä, on täsmälleen yksi tällainen tapahtuma, kun heitetään yhtä reilua kolikkoa, on tasan 2, kun heitetään kahta kolikkoa tai katsotaan autoja, on täsmälleen 4. Jokaisella tapahtumalla on todennäköisyys tapahtua. Kun heitetään kolikkoa kahdella päällä, on yksi tapahtuma (putoavat päät) ja sen todennäköisyys on p1 = 1. Kun heitetään reilua kolikkoa, tapahtumia on kaksi, ne ovat yhtä todennäköisiä ja kummankin todennäköisyys on 0,5: p1 = 0,5, p2 = 0,5. Kahta reilua kolikkoa heitettäessä tapahtumia on neljä, ne ovat kaikki yhtä todennäköisiä ja kunkin todennäköisyys on 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Autoja tarkasteltaessa tapahtumia on neljä, ja niillä on erilaiset todennäköisyydet: musta - 0,5, valkoinen - 0,25, punainen - 0,125, sininen - 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
Tämä ei ole sattumaa.Shannon valitsi entropian (epävarmuuden mittari tapahtumapaikalla) siten, että kolme ehtoa täyttyivät:
- 1 Luotettavan tapahtuman entropia, jonka todennäköisyys on 1, on 0.
- Kahden itsenäisen tapahtuman entropia on yhtä suuri kuin näiden tapahtumien entropioiden summa.
- Entropia on suurin, jos kaikki tapahtumat ovat yhtä todennäköisiä.
Kaikki nämä vaatimukset ovat täysin yhdenmukaisia meidän kanssammeideoita tapahtumatilan epävarmuudesta. Jos on vain yksi tapahtuma (ensimmäinen esimerkki), epävarmuutta ei ole. Jos tapahtumat ovat riippumattomia - summan epävarmuus on yhtä suuri kuin epävarmuustekijöiden summa - ne yksinkertaisesti laskevat yhteen (esimerkki kahden kolikon heittämisestä). Ja lopuksi, jos kaikki tapahtumat ovat yhtä todennäköisiä, niin järjestelmän epävarmuusaste on maksimi. Kuten kahden kolikon heittämisessä, kaikki neljä tapahtumaa ovat yhtä todennäköisiä ja entropia on 2, se on suurempi kuin autojen tapauksessa, kun tapahtumia on myös neljä, mutta niillä on erilaiset todennäköisyydet - tässä tapauksessa entropia on 1.75.
Suurella H on keskeinen rooli informaatioteoriassa tiedon, valinnan ja epävarmuuden mittana.
Claude Shannon
Claude Elwood Shannon- Amerikkalainen insinööri, kryptanalyytikko jamatemaatikko. Pidetään "informaatioajan isänä". Tietoteorian perustaja, joka on löytänyt sovelluksen nykyaikaisissa korkean teknologian viestintäjärjestelmissä. Tarjoaa peruskäsitteitä, ideoita ja niiden matemaattisia muotoiluja, jotka tällä hetkellä muodostavat perustan nykyaikaisille viestintätekniikoille.
Vuonna 1948 ehdotti sanan "bit" käyttöäilmoitetaan pienin tietoyksikkö. Hän osoitti myös, että hänen syöttämänsä entropia vastaa lähetetyn viestin tietojen epävarmuutta. Shannonin artikkelit "Viestinnän matemaattinen teoria" ja "Viestinnän teoria salaisissa järjestelmissä" katsotaan olennaisiksi tiedon teoriassa ja salauksessa.
Toisen maailmansodan aikana Shannon työskenteli Bell Laboratoriesissa kehittääkseen salausjärjestelmiä, jotka myöhemmin auttoivat häntä löytämään virheitä korjaavia koodausmenetelmiä.
Shannon on avainasemassa todennäköisyysjärjestelmien, peliteorian, automaatioteorian ja ohjausjärjestelmän teorian teoriassa - tieteen aloilla, jotka ovat osa kybernetiikan käsitettä.
koodaus
Ja heittävät kolikot ja kulkevat autot eivät oleovat samankaltaisia kuin numerot 0 ja 1. Ilmoita tiloissa esiintyvistä tapahtumista, ja sinun täytyy miettiä tapaa kuvata näitä tapahtumia. Tätä kuvausta kutsutaan koodaukseksi.
Viestit voidaan koodata lukemattomilla eri tavoilla. Mutta Shannon osoitti, että lyhin koodi ei voi olla pienempi bitteinä kuin entropia.
Siksi viestin entropia on mittatiedot viestissä. Koska kaikissa tarkasteluissa tapauksissa bittien lukumäärä koodauksen aikana on yhtä suuri kuin entropia, tämä tarkoittaa, että koodaus oli optimaalinen. Lyhyesti sanottuna tiloissamme ei ole enää mahdollista koodata tapahtumia koskevia viestejä.
Optimaalisella koodauksella et voi menettää taivääristää yhtä lähetettyä bittiä viestissä. Jos yksikin bitti katoaa, tieto vääristyy. Mutta kaikki todelliset viestintäkanavat eivät tarjoa 100-prosenttista varmuutta siitä, että kaikki viestin bitit saavuttavat vastaanottajan vääristymättömästi.
Tämän ongelman korjaamiseksi sinun on tehtäväkoodi ei ole optimaalinen, mutta redundantti. Esimerkiksi, lähetä viestin mukana sen tarkistussumma - erityisesti laskettu arvo, joka saadaan muunnettaessa viestikoodia ja joka voidaan tarkistaa laskemalla uudelleen viestin vastaanotettaessa. Jos lähetetty tarkistussumma vastaa laskettua, on todennäköisyys, että lähetys oli virheetön, melko suuri. Ja jos tarkistussumma ei täsmää, on pyydettävä uudelleenlähetystä. Suunnilleen näin toimivat useimmat viestintäkanavat nykyään, esimerkiksi siirrettäessä tietopaketteja Internetin kautta.
Luonnolliset kieliviestit
Harkitse tapahtumapaikkaa, joka koostuuvirallisista kielistä. Tämä on erityistapaus, mutta yksi tärkeimmistä. Tapahtumat ovat lähetetyt merkit (kiinteän aakkosen kirjaimet). Nämä merkit löytyvät kielestä, jolla on erilaiset todennäköisyydet.
Useimmiten taajuusmerkki (ts. Yksilöytyy useimmiten kaikista venäjän kielellä kirjoitetuista teksteistä) on tila: tuhat merkkiä, keskimääräinen tila on 175 kertaa. Toinen taajuus on symboli "o" - 90, jota seuraa muut vokaalit: "e" (tai "e" - emme erota niitä) - 72, "a" - 62 ja i - 62, ja vain edelleen ensimmäinen konsonantti "t" - 53. Ja harvinaisin "f" - tämä symboli löytyy vain kaksi kertaa tuhannen merkin kohdalla.
Käytämme venäjänkielistä 31-kirjaintakieli (se ei eroa "e" ja "e", samoin kuin "ъ" ja "ь"). Jos kaikki kirjaimet kohdattaisiin samalla todennäköisyydellä olevalla kielellä, niin entropia per symboli olisi H = 5 bittiä, mutta jos otamme huomioon symbolien todelliset taajuudet, entropia on pienempi: H = 4,35 bittiä. (Tämä on lähes kaksi kertaa pienempi kuin perinteisessä koodauksessa, kun merkki lähetetään tavulla - 8 bittiä).
Mutta merkin entropia kielellä on vielä pienempi. Kaikkien tekstien merkin keskimääräinen taajuus ei ennalta määritä seuraavan merkin esiintymisen todennäköisyyttä. Mikä merkki seuraa, riippuu jo siirretyistä merkkeistä. Esimerkiksi modernissa venäläisessä symbolissa "ъ" ei voi seurata konsonanttimerkin ääntä. Kahden peräkkäisen vokaalin "e" jälkeen kolmas vokaali "e" seuraa erittäin harvoin, ellei sana "pitkä kaula". Toisin sanoen seuraava merkki on jossain määrin ennalta määrätty. Jos otamme huomioon seuraavan symbolin ennalta määritetyn, seuraavan symbolin epävarmuus (eli tieto) on jopa alle 4,35. Joidenkin arvioiden mukaan seuraava symboli venäjän kielellä on ennalta määrätty kielen rakenteella yli 50%, eli optimaalisen koodauksen avulla kaikki informaatio voidaan lähettää poistamalla puoli kirjaimia viestistä.
Toinen asia on, että kaikkia kirjaimia ei voi turvallisesti poistaa. Esimerkiksi korkean taajuuden "o" (ja yleensä vokaaleja) on helppo ylittää, mutta harvinainen "f" tai "e" on melko ongelmallinen.
Luonnollinen kieli, jolla kommunikoimme toistensa kanssa, on erittäin tarpeetonta ja siksi luotettavaa, jos kuulemme jotain väärin, tiedot välitetään silti.
Mutta kunnes Shannon otti käyttöön tietomäärän, emme voineet ymmärtää, että kieli on tarpeeton, ja missä määrin voimme tiivistää viestejä (ja miksi arkistointi pakottaa tekstitiedostot niin hyvin).
Luonnollinen kielitaito
Artikkelissa "Tietoja siitä, miten me vorpsimanie tektkt"(nimi kuulostaa aivan tältä!) Otettiin käyttöön Ivan Turgenevin Noble Nest -romaanin fragmentti, joka muutettiin: 34% kirjoista poistettiin fragmentista, mutta ei satunnaisia. Ensimmäiset ja viimeiset kirjaimet sanoissa jätettiin, vain vokaaleja poistettiin, eikä kaikki. Tavoitteena ei ollut ainoastaan saada tilaisuus palauttaa kaikki muunnetun tekstin tiedot, vaan myös varmistaa, että tätä tekstiä lukeva henkilö ei kohdannut mitään erityisiä vaikeuksia puuttuvien kirjainten vuoksi.
Miksi tämä on suhteellisen helppoa lukea vioittuneenateksti? Se itse asiassa sisältää tarvittavat tiedot kokonaisten sanojen rekonstruoimiseksi. Venäjän äidinkielenään puhuvalla henkilöllä on tietty joukko tapahtumia (sanoja ja kokonaisia lauseita), joita hän käyttää tunnustaessaan. Lisäksi puhujalla on käytössään myös vakiokielirakenteet, jotka auttavat häntä palauttamaan tietoa. Esimerkiksi,"Hän on blee blee"- suurella todennäköisyydellä voidaan lukea"Hän oli herkempi.". Mutta erikseen otettuna"Hän on enemmän blah", pikemminkin palautetaan nimellä"Hän oli valkoisempi". Koska jokapäiväisessä viestinnässä käsittelemmekanavissa, joissa on kohinaa ja häiriöitä, olemme melko hyviä palauttamaan tietoja, mutta vain sen, minkä tiedämme jo etukäteen. Esimerkiksi lause"Hänen ominaisuutensa eivät ole vähiten miellyttäviä, htya nmngo rspkhli ja splash"lukee hyvin viimeistä sanaa lukuun ottamatta"Splash" - "rallied". Tämä sana ei ole nykyaikaisessa sanakirjassa. Kun luet sanan nopeasti"Splls"lukee enemmän kuin "kiinni kiinni", kun se on hidas, se yksinkertaisesti hämmentää.
Signaalin digitointi
Ääni tai akustiset värähtelyt ovat sinimuoto. Tämä näkyy esimerkiksi äänieditorin näytössä. Jotta ääni voidaan välittää tarkasti, tarvitset ääretön määrä arvoja - koko siniaalto. Tämä on mahdollista analogisella liitännällä. Hän laulaa - kuuntelet, yhteyttä ei keskeytetä, kun kappale kestää.
Digitaalisessa viestinnässä kanavan yli voimme lähettää vain rajallisen määrän arvoja. Tarkoittaako tämä sitä, että ääntä ei voida toistaa tarkasti? Osoittautuu, että ei.
Erilaiset äänet ovat eri tavalla moduloituja siniaaltoja.Lähetämme vain diskreettiarvot (taajuudet ja amplitudit), eikä siniaaltoa tarvitse lähettää - vastaanottava laite voi luoda sen.Se luo sinusoidin ja asettuu sen päälleviestintäkanavan kautta lähetetyistä arvoista luotu modulaatio. On olemassa tarkat periaatteet, mitkä diskreetit arvot on lähetettävä niin, että ääni viestintäkanavan sisääntulossa on sama kuin lähdössä oleva ääni, jossa nämä arvot asettuvat johonkin standardisiniaaltoon (tämä on Kotelnikovin lause noin).
Kotelnikovin lause (englanninkielisessä kirjallisuudessa - Nyquist - Shannon-lause, lukuteoria)- perustavanlaatuinen toteamus digialallasignaalinkäsittely, joka yhdistää jatkuvat ja diskreetit signaalit ja toteaa, että "mitä tahansa funktiota F(t), joka koostuu taajuuksista 0 - f1, voidaan lähettää jatkuvasti millä tahansa tarkkuudella käyttämällä numeroita, jotka seuraavat toisiaan 1/(2*f1) sekunnin ajan
Anti-interferenssin koodaus. Hamming-koodit
Jos lähetetään epäluotettavalla kanavallaIvan Turgenevin koodattu teksti, vaikkakin joidenkin virheiden kanssa, johtaa melko merkitykselliseen tekstiin. Mutta jos meidän on siirrettävä kaikki vähän, tehtävä on ratkaisematta: emme tiedä, mitkä bitit ovat väärässä, koska virhe on satunnainen. Jopa tarkistussumma ei aina tallenna.
Siksi tänään lähetettäessä tietojaverkot eivät yleensä ole niin optimaalista koodausta, jossa enimmäismäärä tietoa voidaan työntää kanavaan, vaan sellaiseen koodaukseen (ilmeisesti tarpeeton), jossa virheitä voidaan palauttaa - aivan kuten silloin, kun luemme sanoja Ivan Turgenevin fragmentissa.
On erityisiä virheenkorjauskoodeja, joiden avulla voit palauttaa tietoja vian jälkeen. Yksi niistä on Hamming-koodi.Oletetaan, että koko kielemme koostuu kolmesta sanasta:111000, 001110, 100011. Sekä viestin lähde että vastaanottaja tietävät nämä sanat. Ja tiedämme, että viestintäkanavassa tapahtuu virheitä, mutta lähetettäessä yhtä sanaa ei enempää kuin yksi bitti informaatiota vääristy.
Oletetaan ensin välittää sanan 111000. Tämän seurauksena enintään yksi virhe (virheistä olemme tunnistaneet), se voi muuttua yhden sanan:
1) 111000,011 000, 101000, 110000, 111100, 111010, 111001.
Kun sanaa 001110 lähetetään, jokin sanoista voidaan saada:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Lopuksi 100011 saamme vastaanottoon:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Huomaa, että kaikki kolme luetteloa eivät ole pareittain.leikkaavat. Toisin sanoen, jos tietoliikennekanavan toisessa päässä näkyy mikä tahansa sana luettelosta 1, vastaanottaja tietää varmasti, että sana 111000 lähetettiin hänelle, ja jos mikä tahansa sana luettelosta 2, sana 001110 ja luettelosta 3, sana 100011 tulee näkyviin. He sanovat, että koodimme on vahvistanut yhden virheen.
Korjaus tapahtui kahdesta syystä.Ensin vastaanottaja tuntee koko sanakirjaneli sanoman vastaanottajan tapahtumapaikan on sama kuin sanoman lähettäjä. Kun koodi lähetettiin vain yhdellä virheellä, tuli sana, joka ei ollut sanakirjassa.
Toiseksi sanat sanakirjassa valittiin erityisellä tavalla.Vaikka virhe tapahtuisi, vastaanottaja ei voinutsekoittaa sanan toiseen. Esimerkiksi, jos sanakirja koostuu sanoista "tytär", "piste", "kuhmu" ja lähetyksen aikana tulos oli "vochka", vastaanottaja, tietäen, että tällaista sanaa ei ole olemassa, ei pystyisi korjaa virhe - mikä tahansa kolmesta sanasta voi osoittautua oikeaksi. Jos sanakirja sisältää "piste", "daw", "oksa" ja tiedämme, että vain yksi virhe on sallittu, niin "vochka" on ehdottomasti "piste" eikä "daw". Virheenkorjauskoodeissa sanat valitaan tarkasti niin, että ne ovat ”tunnistettavissa” myös virheen jälkeen. Ainoa ero on, että koodissa "aakkoset" on vain kaksi kirjainta - nolla ja yksi.
Tällaisen koodauksen redundanssi on hyvin suuri, ja niiden sanojen määrä, joita voimme siis välittää, on suhteellisen pieni.Meidän on jätettävä sanakirjasta pois kaikki sanat,joka virheen sattuessa voi olla sama kuin lähetettyjen sanojen koko lista (esim. sanat "tytär" ja "piste" eivät voi olla sanakirjassa). Mutta tarkka viestien välitys on niin tärkeää, että virhekestävien koodien tutkimukseen käytetään paljon vaivaa.
tunne
Entropian käsitteet (tai epävarmuus ja. \ Tennustamattomuus) ja redundanssi (tai ennalta määrittely ja ennustettavuus) vastaavat luonnollisesti intuitiivisia ajatuksia tiedon mittauksesta. Mitä arvaamattomampi viesti on (sitä suurempi sen entropia, koska on vähemmän todennäköisyyttä), sitä enemmän tietoa se kuljettaa. Tunne (esimerkiksi tapaaminen krokotiilin kanssa Tverskayassa) on harvinainen tapahtuma, sen ennustettavuus on hyvin alhainen, ja siksi tiedon arvo on korkea. Usein tietoa kutsutaan uutisiksi - juuri tapahtuneista tapahtumista, joista tiedämme vielä mitään. Mutta jos he kertovat meille toista ja kolmatta kertaa samoista sanoista, sanoman redundanssi on suuri, sen arvaamattomuus laskee nollaan, emmekä yksinkertaisesti kuuntele, heiluttaen pois puhujalta sanoilla "Tiedän, tiedän." Siksi tiedotusvälineet yrittävät niin kovasti olla ensimmäinen. Tämä vastaavuus intuitiiviseen uutuuden tunteeseen, joka herättää todella odottamattomia uutisia, oli merkittävä rooli siinä, että Shannonin artikkelista, joka ei ollut tarkoitettu yleiselle lukijalle, tuli tunne, jota lehdistö otti yleismaailmalliseksi avaimeksi luonnon tuntemiseen. - kielitieteilijöiltä ja kirjallisista kriitikoista biologeihin.
MuttaShannonin tietokonsepti - tiukka matemaattinen teoriaja sen soveltaminen viestintäteorian ulkopuolelle on hyvin epäluotettavaa. Mutta itse viestintäteoriassa sillä on keskeinen rooli.
Semanttinen tieto
Shannon esittelee entropian käsitteen mittanainformaatiota, sai mahdollisuuden työskennellä tiedon kanssa - ensinnäkin mitata sitä ja arvioida ominaisuuksia, kuten kanavakapasiteetti tai optimaalinen koodaus. Mutta tärkein oletus, jonka ansiosta Shannon pystyi toimimaan menestyksekkäästi tiedon kanssa, oli oletus, että tiedon tuottaminen on satunnainen prosessi, joka voidaan kuvata onnistuneesti todennäköisyysteorian avulla.Jos prosessi ei ole satunnainen, eli se noudattaa lakeja (lisäksi ei aina ole selvää, kuten luonnollisessa kielessä tapahtuu), Shannonin päättely ei ole sovellettavissa siihen.Millään Shannonin sanoilla ei ole mitään tekemistä tiedon merkityksellisyyden kanssa.
Vaikka puhumme merkkejä (tai aakkosten kirjaimia),voimme hyvin väittää satunnaisia tapahtumia, mutta heti kun pääsemme kielen sanoihin, tilanne muuttuu dramaattisesti. Puhe on erityisesti järjestetty prosessi, ja tässä viestin rakenne ei ole yhtä tärkeä kuin merkit, joilla se lähetetään.
Äskettäin näytti siltä, ettemme voineet tehdä mitään.tekstin mielekkyyden mittaamista on tehty ainakin jotenkin lähemmäksi, mutta viime vuosina tilanne on alkanut muuttua. Ja tämä johtuu ensisijaisesti keinotekoisten hermoverkkojen soveltamisesta konekääntämiseen, tekstien automaattiseen yhteenvetoon, tiedon poimimiseen teksteistä ja raporttien luomisesta luonnollisella kielellä. Kaikki nämä tehtävät sisältävät luonnollisella kielellä olevan merkityksellisen tiedon muuntamisen, koodauksen ja dekoodauksen. Ja vähitellen muodostuu käsitys tiedon menetyksistä tällaisten muutosten aikana ja siten merkityksellisen tiedon laajuudesta. Mutta tänään Shannonin informaatioteorian selkeys ja tarkkuus ei ole vielä saatavilla näissä vaikeissa ongelmissa.