Véletlen eseményterület
1946-ban John Tukey amerikai statisztikus javasolta a BIT nevet
Képzeljünk el egy véletlen eseményeketamely egy hamis érme dobása, amelynek mindkét oldalán sas. Mikor esik a sas? Nyilvánvaló, hogy mindig. Ezt előre ismerjük, mert a helyünk így van elrendezve. Egy sas esése megbízható esemény, azaz annak valószínűsége megegyezik az 1.-vel. Adunk-e sok információt, ha mondunk egy elesett sasról? Nem. Az ilyen üzenetben lévő információ mennyisége 0-nak tekintendő.
Most dobjuk el a megfelelő érmét: az egyik oldalon fejek vannak, a másik oldalon pedig a farok, ahogy kellene.A fej vagy farok jön a két különböző esemény, amely alkotjaHa egyetlen dobás eredményéről számolunk be, akkor valóban az leszÚj információ: A fejek 0-t, a farok 1-et jelentenek.Ezen információk megadásához csak 1 bitre van szükségünk.
Bizonytalanság alakult ki rendezvényterünkben, és van mit mesélnünk erről azoknak, akik maguk nem dobnak érmétDe ahhoz, hogy helyesen megértse az üzenetünket, pontosan tudnia kell, mit csinálunk, mit jelentünk0 és 1.Eseményterületeinknek meg kell egyezniük, és a dekódolási folyamat egyedülálló módon visszaállítja a dobás eredményét.Ha az adó és a vevő eseménytere nem esik egybe vagy nem esik egybeaz üzenet egyértelmű dekódolásának lehetősége, az információ csak zaj marad a kommunikációs csatornában.
Ha két érmét egymástól függetlenül és egyszerre dobnak, akkor különböző, egyformán valószínű eredmények lesznekAz információ továbbításához 2 bitre lesz szükségünk, és üzeneteink00, 01, 10 és 11.Kétszer annyi információ áll rendelkezésre.Ha megpróbáljuk kitalálni egy ilyen páros dobás kimenetelét, kétszer akkora valószínűséggel hibázunk.
Minél nagyobb egy eseménytér bizonytalansága, annál több információt tartalmaz az eseményállapot-üzenet.
Bonyolítsuk egy kicsit a rendezvényterünket, eddig minden megtörtént esemény egyformán valószínű volt.De a valós terekben nem minden eseménynek van traumatikus valószínűsége.Tegyük fel, hogy annak valószínűsége, hogy a varjú, amit látunk, fekete lesz, közel 1.Annak a valószínűsége, hogy az első járókelő, akivel az utcán találkozik, ember lesz, körülbelül 0, 5.De szinte hihetetlen, hogy találkozzunk egy krokodillal Moszkva utcáján.Intuitív módon megértjük, hogy a krokodillal való találkozás üzeneteSokkal több információs érték, mint a fekete varjú.Minél alacsonyabb egy esemény valószínűsége, annál több információt tartalmaz az ilyen eseményről szóló üzenetben.
Hagyja, hogy az esemény tér ne legyen olyan egzotikus. Csak az ablakon állunk, és megnézzük az elhaladó autókat. Négy színből álló autók haladnak el, amit jelentenünk kell. Ehhez kódoljuk a színeket: fekete - 00, fehér - 01, piros - 10, kék - 11. Ahhoz, hogy pontosan melyik autót vezessük, csak 2 bit információt kell átadnunk.
De sokáig figyelte az autókat,megjegyezzük, hogy az autók színe egyenlőtlenül oszlik el: fekete - 50% (minden második), fehér - 25% (minden negyedik), piros és kék - 12,5% (minden nyolcadik). Ezután optimalizálhatja a továbbított információkat.
Legtöbbjük fekete autó, ezért jelöljük a feketét - a 0 a legrövidebb kód, és hagyja, hogy az összes többi kódja 1-gyel kezdődjön.A maradék fele fehér 10-nél, a fennmaradó színek pedig 11-nél kezdődnek.Végül jelöljük a pirosat 110-nek, a kéket pedig 111-nek.
Most, áthaladva az autó színével kapcsolatos információkat, jobban kódolhatjuk.
Shannon Entrópia
Tegyük fel, hogy az eseményterünk n különböző eseményből áll.Amikor egy érmét két fejjel dobnak, pontosan egy ilyen esemény van, amikor egy helyes érmét dobnak, 2, amikor két érmét dobnakvagy autómegfigyelés – 4. Minden esemény megfelel az előfordulása valószínűségének.Ha egy érmét két fejjel dobnak, csak egy esemény van (fejek gördülnek), és valószínűsége p1 = 1.Amikor megfordítja a megfelelő érmét, két esemény van, egyformán valószínűek, és mindegyik valószínűsége 0, 5: p1 = 0, 5, p2 = 0, 5.Ha két helyes érmét dob, négy esemény van, mindegyik egyformán valószínű, és mindegyik valószínűsége 0, 25: p1 = 0, 25, p2 = 0, 25, p3 = 0, 25, p4 = 0, 25.Az autók megfigyelésekor négy esemény van, és különböző valószínűségük van: fekete 0, 5, fehér 0, 25, piros 0, 125, kék 0, 125: p1 = 0, 5, p2 = 0, 25, p3 = 0, 125, p4 = 0, 125.
Ez nem véletlen.Shannon az entrópiát választotta (a bizonytalanság mértéke az eseménytérben), így három feltétel teljesült:
- 1Egy érvényes esemény entrópiája 1 valószínűséggel 0.
- Két független esemény entrópiája megegyezik az események entrópiáinak összegével.
- Az entrópia maximális, ha minden esemény egyformán valószínű.
Mindezek a követelmények teljes mértékben összhangban vannak a mi követelményeinkkelelképzelések a rendezvénytér bizonytalanságáról. Ha csak egy esemény van (az első példa), akkor nincs bizonytalanság. Ha az események függetlenek - az összeg bizonytalansága egyenlő a bizonytalanságok összegével -, egyszerűen összeadódnak (két érme dobásának példája). És végül, ha minden esemény egyformán valószínű, akkor a rendszer bizonytalansági foka maximális. Ahogy két érme feldobása esetén, mind a négy esemény egyformán valószínű, és az entrópia 2, ez nagyobb, mint az autók esetében, amikor négy esemény is van, de ezeknek eltérő a valószínűsége - ebben az esetben az entrópia 1.75.
A H mennyiség központi szerepet játszik az információelméletben, mint az információ, a választás és a bizonytalanság mértéke.
Claude Shannon
Claude Elwood Shannon- amerikai mérnök, kriptoanalitikus ésmatematikus. Az információs korszak atyjának tartják. Az információelmélet megalapítója, amely alkalmazást talált a modern high-tech kommunikációs rendszerekben. Olyan alapvető fogalmakat, ötleteket és azok matematikai megfogalmazását nyújtotta, amelyek jelenleg a modern kommunikációs technológiák alapját képezik.
1948-ban javasolta a "bit" szót használni.a legkisebb információ egységet. Azt is kimutatta, hogy az általa beírt entrópia megegyezik a továbbított üzenetben lévő információk bizonytalanságával. Shannon cikkei "A kommunikáció matematikai elmélete" és a "kommunikációs elmélet a titkos rendszerekben" alapvető fontosságúak az információelmélet és a kriptográfia szempontjából.
A második világháború alatt Shannon a Bell Laboratories-ban dolgozott kriptográfiai rendszerek fejlesztésén, amelyek később segítettek felfedezni a hibajavító kódolási módszereket.
Shannon kulcsfontosságú szerepet játszott a valószínűségi rendszerek, a játékelmélet, az automataelmélet és az ellenőrzési rendszerelmélet elméletében - a kibernetika fogalmának részét képező tudományterületeken.
kódolás
A dobott érmék és az elhaladó autók nemhasonlóak a 0 és 1 számokhoz. A terekben előforduló események bejelentéséhez meg kell gondolni egy módot az események leírására. Ezt a leírást kódolásnak nevezik.
Az üzenetek végtelen számú különböző módon kódolhatók. De Shannon megmutatta, hogy a legrövidebb kód nem lehet kisebb bitben, mint az entrópia.
Ezért az üzenet entrópiája mértékinformációkat az üzenetben. Mivel a bitek száma a kódolás során minden esetben megegyezik az entrópiával, ez azt jelenti, hogy a kódolás optimális volt. Röviden: többé nem lehet a tereinken eseményekről szóló üzeneteket kódolni.
Optimális kódolással nem veszíthet el illtorzítson egyetlen továbbított bitet az üzenetben. Ha csak egy bit is elveszik, az információ torz lesz. De nem minden valódi kommunikációs csatorna biztosít 100 százalékos biztonságot arra vonatkozóan, hogy az üzenet minden bitje torzítás nélkül eljut a címzetthez.
A probléma megoldásához meg kell tenniea kód nem optimális, de redundáns. Például küldje el az üzenettel együtt az ellenőrző összegét - egy speciálisan kiszámított értéket, amelyet az üzenet kódjának konvertálásakor kapunk, és amelyet az üzenet átvételekor történő újraszámítással ellenőrizhetünk. Ha a továbbított ellenőrzőösszeg megegyezik a kiszámítottal, akkor annak valószínűsége, hogy az átvitel hibamentes volt, meglehetősen nagy lesz. És ha az ellenőrző összeg nem egyezik, akkor újraküldést kell kérni. Nagyjából így működik manapság a legtöbb kommunikációs csatorna, például információcsomagok interneten keresztüli továbbításakor.
Természetes nyelvi üzenetek
Fontolja meg az eseménytereta természetes nyelvű hozzászólásokból. Ez egy különleges eset, de az egyik legfontosabb. Az események az átadott karakterek (fix ábécé betűi) lesznek. Ezek a karakterek a különböző valószínűségekkel rendelkező nyelven találhatók.
A leggyakoribb szimbólum (azaz az egyikleggyakrabban az összes orosz nyelven írt szövegben található) egy szóköz: ezer karakter, egy átlagos hely 175-szer. A második frekvencia az "o" - 90 szimbólum, amelyet más magánhangzók követnek: "e" (vagy "e" - nem fogjuk megkülönböztetni őket) - 72, "a" - 62 és i - 62, és csak tovább az első kononáns "t" - 53. És a legritkább "f" - ez a szimbólum ezer karakterenként csak kétszer található.
Az orosz 31 betű ábécét fogjuk használninyelv (ez nem különbözik az "e" és az "e", valamint a "ъ" és a "ь" értékek közül). Ha az összes betű ugyanolyan valószínűséggel találkozott a nyelvben, akkor az entrópia szimbólumonként H = 5 bit lenne, de ha figyelembe vesszük a szimbólumok valós frekvenciáit, az entrópia kisebb lesz: H = 4,35 bit. (Ez majdnem kétszer kevesebb, mint a hagyományos kódolásnál, amikor egy karaktert bájtként - 8 bitesként továbbítunk).
De a karakter nyelvének entrópiája még alacsonyabb. A következő karakter előfordulásának valószínűségét nem határozza meg teljesen az összes szövegben lévő karakter átlagos gyakorisága. Melyik karaktert követi a már átvitt karakterek. Például a modern oroszban a "ъ" szimbólum után nem követheti a kononáns szimbólumhangot. Két egymást követő "e" magánhangzó után a harmadik "e" magánhangzó rendkívül ritkán következik be, hacsak nem a "hosszú nyakú" szó. Ez azt jelenti, hogy a következő karakter bizonyos mértékig előre meghatározott. Ha figyelembe vesszük a következő szimbólum előre meghatározott értékét, a következő szimbólum bizonytalansága (azaz az információ) kisebb lesz, mint 4.35. Egyes becslések szerint az alábbi orosz nyelvű szimbólumot a nyelv szerkezete több mint 50% -kal határozza meg, vagyis az optimális kódolással az összes információ az üzenet fél betűinek törlésével továbbítható.
Egy másik dolog az, hogy nem minden levelet lehet biztonságosan törölni. A nagyfrekvenciás "o" (és általában magánhangzók) például könnyen áthúzható, de ritka "f" vagy "e" problémás.
A természetes nyelv, amelyen kommunikálunk egymással, rendkívül redundáns, ezért megbízható; ha valamit rosszul hallottunk, az rendben van, az információ továbbra is továbbításra kerül.
De amíg Shannon nem vezette be az információ mértékét, nem tudtuk megérteni, hogy ez a nyelv felesleges, és milyen mértékben tudjuk tömöríteni az üzeneteket (és miért tömöríti a szövegfájlokat az archiváló).
Természetes nyelvű redundancia
A cikkben arról, hogy mi "vorpsimanie tektkt"(a név pontosan úgy hangzik, mint ez!) Ivan Turgenev nemes fészek regényének egy töredékét vették át, és némi átalakulásnak vetették alá: a betűk 34% -át törölték, de nem véletlenszerűen. A szavak első és utolsó betűje maradt, csak magánhangzókat töröltek, és nem mindegyiket. A cél nemcsak az volt, hogy a konvertált szöveg összes információját helyreállítsuk, hanem azt is biztosítsuk, hogy az e szöveget olvasó személy ne szenvedjen különösebb nehézséget a hiányzó betűk miatt.
Miért viszonylag könnyű ezt elrontva olvasniszöveg? Valójában tartalmazza a teljes szavak rekonstruálásához szükséges információkat. Az orosz anyanyelvűnek van egy bizonyos eseménysorozata (szavak és teljes mondatok), amelyeket felismerésre használ. Ezen túlmenően a beszélő szabványos nyelvi struktúrákkal is rendelkezik, amelyek segítenek visszaszerezni az információkat. Például,- Blee blee.- nagy valószínűséggel így olvasható- Ő érzékenyebb volt.. De külön véve"Több blah", inkább visszaállításra kerül, mint„Fehérebb volt”. Mivel a mindennapi kommunikációban foglalkozunkazokkal a csatornákkal, amelyekben zaj és interferencia van, elég jók vagyunk az információk visszaállításában, de csak azt, amit már előre tudunk. Például a kifejezés"Az ő tulajdonságai nem a legkellemesebbek, htya nmngo rspkhli és splash"jól olvas, kivéve az utolsó szót"Splash" - "rallied". Ez a szó nem szerepel a modern lexikonban. Amikor gyorsan olvas egy szót"Splls"inkább „összeragadt”-nak tűnik; ha lassú, egyszerűen zavarba jön.
Jel digitalizálása
A hang vagy az akusztikus oszcilláció szinuszos. Ez látható például a hangszerkesztő képernyőjén. A hang pontos továbbításához szükség lesz egy végtelen számú értékre - az egész szinusz hullámra. Ez analóg csatlakozással lehetséges. Ő énekel - hallgat, a kapcsolat nem szakad meg, amíg a dal tart.
Egy csatornán keresztüli digitális kommunikáció során csak véges számú értéket tudunk továbbítani. Ez azt jelenti, hogy a hang nem reprodukálható pontosan? Kiderült, hogy nem.
A különböző hangok eltérően modulált szinuszhullámok.Csak diszkrét értékeket (frekvenciákat és amplitúdókat) adunk át, és a szinusz hullámot nem kell továbbítani - a fogadó készülék képes generálni.Szinuszoidot generál, és rárakódikkommunikációs csatornán továbbított értékekből létrehozott moduláció. Pontos alapelvei vannak annak, hogy mely diszkrét értékeket kell továbbítani, hogy a kommunikációs csatorna bemenetén lévő hang egybeessen a kimeneti hanggal, ahol ezek az értékek valamilyen szabványos szinuszos szinuszra kerülnek (ez a Kotelnikov-tétel). ról ről).
Kotelnikov-tétel (angol nyelvű irodalomban - a Nyquist-Shannon-tétel, az olvasási tétel)- alapvető megállapítás a digitális térenjelfeldolgozás, amely folyamatos és diszkrét jeleket köt össze, és kijelenti, hogy „bármilyen F(t) függvény, amely 0-tól f1-ig terjedő frekvenciákból áll, folyamatosan, tetszőleges pontossággal továbbítható az egymást követő számok segítségével 1/(2*f1) másodpercig
Interferencia-kódolás. Hamming kódok
Ha egy megbízhatatlan csatornán továbbíthatjaIvan Turgenev kódolt szövege, bár néhány hibával együtt, eléggé értelmes szöveget eredményez. De ha mindent egy kicsit át kell adnunk, a feladat megoldatlan lesz: nem tudjuk, hogy mely bitek hibásak, mert a hiba véletlen. Még az ellenőrző összeg sem mindig menthető.
Éppen ezért ma az adatok továbbításakora hálózatok nem annyira az optimális kódolásra irányulnak, amelyben a maximális információmennyiséget be lehet tolni a csatornába, hanem olyan kódolásra (nyilvánvalóan redundáns), amelyben a hibákat helyre lehet állítani - éppen akkor, amikor olvassuk a szavakat Ivan Turgenev töredékében.
Vannak speciális hibajavító kódok, amelyek lehetővé teszik az adatok helyreállítását hiba után. Az egyik a Hamming-kód.Tegyük fel, hogy az egész nyelvünk három szóból áll:111000, 001110, 100011. Az üzenet forrása és a címzett is ismeri ezeket a szavakat. És tudjuk, hogy hibák előfordulnak egy kommunikációs csatornában, de egy szó továbbításakor legfeljebb egy bit információ torzul el.
Tegyük fel, hogy először átadjuk a 111000 szót. Ennek eredményeként legfeljebb egy hiba (a hibát azonosítottuk) az egyik szavak közé fordulhat:
1) 111000,011 000, 101000, 110000, 111100, 111010, 111001.
A 001110 szó továbbításakor bármelyik szó lehet:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Végül, 100011-re kapunk a recepción:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Ne feledje, hogy mindhárom lista nem páros.metszik egymást. Más szavakkal, ha a kommunikációs csatorna másik végén az 1. listából bármelyik szó jelenik meg, a címzett biztosan tudja, hogy a 111000 szót továbbították neki, és ha a 2. lista bármelyik szója jelenik meg, akkor a 001110 szó és a 3. lista az 100011 szó jelenik meg. Azt mondják, hogy a kódunk egy hibát rögzített.
A korrekció két tényező miatt következett be.Először is, a címzett ismeri a teljes „szótárat”vagyis az üzenet fogadójának eseményterülete egybeesik az üzenet továbbítójának helyével. Amikor a kódot csak egy hiba továbbította, egy szó jött ki, ami nem volt a szótárban.
Másodszor, a szavak a szótárban speciális módon lettek kiválasztva.Még ha hiba történt is, a címzett nem tudtaösszekeverni az egyik szót a másikkal. Például, ha a szótár a „lánya”, „pont”, „dudor” szavakból áll, és az átvitel során az eredmény „vochka”, akkor a címzett, tudva, hogy ilyen szó nem létezik, nem tudna javítsa ki a hibát – a három szó bármelyike helyesnek bizonyulhat. Ha a szótárban szerepel a „pont”, „daw”, „branch”, és tudjuk, hogy legfeljebb egy hiba megengedett, akkor a „vochka” határozottan „pont”, és nem „hajnal”. A hibajavító kódokban a szavakat pontosan úgy választják ki, hogy hiba után is „felismerhetők legyenek”. Az egyetlen különbség az, hogy az „ábécé” kódban csak két betű van - nulla és egy.
Az ilyen kódolás redundanciája nagyon nagy, és az így közvetítendő szavak száma viszonylag kis.Minden szót ki kell zárnunk a szótárból,amely hiba esetén egybeeshet a továbbított szavaknak megfelelő teljes listával (például a „lánya” és a „pont” szavak nem szerepelhetnek a szótárban). A pontos üzenettovábbítás azonban annyira fontos, hogy nagy erőfeszítéseket kell tenni a hibaálló kódok kutatására.
érzés
Az entrópia (vagy bizonytalanság és. \ Taz üzenet kiszámíthatatlansága), és a redundancia (vagy előre meghatározott és kiszámíthatóság) nagyon természetesen megfelel az intuitív eszméinknek az információ mértékéről. Minél kiszámíthatatlanabb az üzenet (minél nagyobb az entrópia, mivel kevésbé valószínű), annál több információt hordoz. Az érzés (például egy krokodil találkozó a Tverskayán) ritka esemény, kiszámíthatósága nagyon alacsony, ezért az információ értéke magas. Gyakran az információkat hírnek nevezik - az éppen bekövetkezett eseményekről szóló jelentések, amelyekről még nem tudunk semmit. De ha a második és harmadik alkalommal ugyanazokkal a szavakkal mondják el, akkor az üzenet redundanciája nagy lesz, kiszámíthatatlansága nullára csökken, és egyszerűen nem hallgatunk, elhagyva a hangszórótól a "Tudom, tudom." Ezért a média olyan keményen próbálkozik, hogy az első legyen. Ez az összefüggés az újszerűség intuitív érzésével, amely valóban váratlan híreket eredményez, jelentős szerepet játszott abban, hogy Shannon cikke, amely nem az általános olvasó számára készült, olyan érzéssé vált, amelyet a sajtó egyetemes kulcsként vett fel a természet ismeretének. - a nyelvészektől és az irodalmi kritikusoktól a biológusokig.
DeShannon információs koncepció - szigorú matematikai elméletés a kommunikációs elméleten kívüli alkalmazása nagyon megbízhatatlan. De a kommunikáció elméletében központi szerepet játszik.
Szemantikus információk
Shannon, bevezetve az entrópia mint mérték fogalmátLehetőséget kapott az információkkal való munkavégzésre - mindenekelőtt annak mérésére és olyan jellemzők értékelésére, mint a csatornakapacitás vagy az optimális kódolás. De a fő feltevés, amely lehetővé tette Shannon számára, hogy sikeresen operáljon információkkal, az volt, hogy az információ előállítása véletlenszerű folyamat, amely sikeresen leírható a valószínűségszámítással.Ha a folyamat nem véletlen, vagyis betartja a törvényeket (sőt, nem mindig világos, ahogy a természetes nyelven történik), akkor Shannon érvelése nem alkalmazható rá.Shannon által elmondottaknak semmi köze ahhoz, hogy az információ értelmes legyen.
Miközben a karakterekről (vagy az ábécé betűiről) beszélünk,a véletlen események tekintetében jól vitatkozhatunk, de amint eljutunk a nyelv szavaihoz, a helyzet drámaian megváltozik. A beszéd egy speciálisan szervezett folyamat, és itt az üzenet szerkezete nem kevésbé fontos, mint azok a karakterek, amelyekkel az üzenetet továbbítják.
Mostanában úgy tűnt, hogy nem tudunk mit tenni.azért, hogy legalább valahogy közelebb kerüljünk a szöveg értelmességének méréséhez, de az utóbbi években a helyzet megváltozni kezdett. Ez pedig elsősorban a mesterséges neurális hálózatoknak a gépi fordítás, a szövegek automatikus összegzése, a szövegekből információ kinyerése, valamint a természetes nyelvű jelentések készítésének feladataira való alkalmazásának köszönhető. Mindezek a feladatok magukban foglalják a természetes nyelvben található értelmes információk átalakítását, kódolását és dekódolását. És fokozatosan kialakul egy elképzelés az ilyen átalakulások során fellépő információvesztésekről, és ezáltal az értelmes információ mértékéről. De ma még nem áll rendelkezésre az a világosság és pontosság, amellyel Shannon információelmélete rendelkezik ezekben a nehéz problémákban.