Простор случајног догађаја
Године 1946. амерички статистичар Џон Туки предложио је назив БИТ
Замислите простор случајних догађајакоји се састоји од бацања једног лажног новчића, на чијим је странама орао. Када орао пада? Јасно је да увек. То знамо унапријед, јер је наш простор тако уређен. Пад орла је поуздани догађај, тј. Његова вероватноћа је једнака 1. Да ли ћемо дати много информација ако кажемо о испуштеном орлу? Не Количина информација у таквој поруци ће се сматрати једнаком 0.
Сада бацимо фер новчић:на једној страни су главе, а на другој репови, како треба. Слетање главе или репа ће бити два различита догађаја који чине наш простор насумичних догађаја. Ако пријавимо исход једног бацања, то ће заиста бити нова информација. Ако су главе испуштене, пријавићемо 0, а ако су репови 1. Да бисмо пријавили ову информацију, потребан нам је само 1 бит.
Шта се променило?У нашем простору догађаја појавила се неизвесност. Имамо нешто да кажемо о томе некоме ко сам не баци новчић и не види исход бацања. Али да би правилно разумео нашу поруку, он мора тачно да зна шта радимо и шта значе 0 и 1.Наши простори за догађаје морају да се поклапају, а процес декодирања јединствено служи за враћање резултата бацања.Ако се простор догађаја предајника и пријемника не поклапа или не постоји могућност недвосмисленог декодирања поруке, информација ће остати само шум у комуникацијском каналу.
Ако баците два независно и истовременоновчића, онда ће постојати четири различита једнако вероватна резултата: глава-глава, глава-реп, реп-глава и реп-реп. За пренос информација биће нам потребна 2 бита, а наше поруке ће бити следеће: 00, 01, 10 и 11. Има дупло више информација. То се догодило јер је неизвесност порасла. Ако покушамо да погодимо исход таквог парног бацања, имамо дупло веће шансе да погрешимо.
Што је већа несигурност простора догађаја, то више информација садржи порука о његовом стању.
Хајде да мало закомпликујемо наш простор за догађаје.До сада су сви догађаји који су се десили били подједнако вероватни. Али у реалним просторима, немају сви догађаји једнаку вероватноћу. Рецимо да је вероватноћа да ће врана коју видимо бити црна близу 1. Вероватноћа да ће први пролазник којег сретнемо на улици бити мушкарац је приближно 0,5. Али срести крокодила на улицама Москве је готово немогуће. Интуитивно схватамо да извештај о састанку са крокодилом има много већу информативну вредност него о црној врани.Што је мања вероватноћа догађаја, више информација у поруци о таквом догађају.
Нека простор догађаја не буде тако егзотичан. Само стојимо поред прозора и гледамо пролазне аутомобиле. Пролазе аутомобили од четири боје, које морамо пријавити. Да бисмо то урадили, ми ћемо кодирати боје: црна - 00, бела - 01, црвена - 10, плава - 11. Да би се известио тачно који је аутомобил возио, потребно је само да пренесемо 2 бита информација.
Али дуго времена гледајући аутомобиле,напомињемо да је боја аутомобила неравномјерно распоређена: црна - 50% (свака секунда), бијела - 25% (свака четврта), црвена и плава - 12,5% (свака осма). Тада можете оптимизирати пренесену информацију.
Већина аутомобила је црна, даклеозначимо црну - 0 - најкраћи код, а код свих осталих нека почиње од 1. Од преостале половине, бела - 10, а преостале боје почињу од 11. На крају, означимо црвену - 110, а плаву - 111.
Сада, преносећи информације о боји аутомобила, можемо да га кодирамо ближе.
Сханнон Ентропи
Нека се наш простор догађаја састоји од нразличити догађаји. Приликом бацања новчића са две главе постоји тачно један такав догађај, при бацању једног поштеног новчића има тачно 2, када се бацају два новчића или гледате аутомобиле тачно 4. Сваки догађај има вероватноћу да се деси. Приликом бацања новчића са две главе постоји један догађај (испадање глава) и његова вероватноћа је п1 = 1. Приликом бацања фер новчића постоје два догађаја, подједнако су вероватна и вероватноћа за сваки је 0,5: п1 = 0,5, п2 = 0,5. Приликом бацања два поштена новчића постоје четири догађаја, сви су подједнако вероватни и вероватноћа за сваки је 0,25: п1 = 0,25, п2 = 0,25, п3 = 0,25, п4 = 0,25. При посматрању аутомобила постоје четири догађаја, и они имају различите вероватноће: црни - 0,5, бели - 0,25, црвени - 0,125, плави - 0,125: п1 = 0,5, п2 = 0,25, п3 = 0,125, п4 = 0,125.
Ово није случајност.Сханнон је изабрао ентропију (меру несигурности у простору догађаја) тако да су испуњена три услова:
- 1 Ентропија поузданог догађаја, чија је вероватноћа 1, једнака је 0.
- Ентропија два независна догађаја једнака је суми ентропија ових догађаја.
- Ентропија је максимална ако су сви догађаји једнако вјероватни.
Сви ови захтеви су у потпуности у складу са нашимидеје о неизвесности простора догађаја. Ако постоји само један догађај (први пример), нема неизвесности. Ако су догађаји независни – неизвесност збира једнака је збиру неизвесности – они се једноставно сабирају (пример бацања два новчића). И коначно, ако су сви догађаји подједнако вероватни, онда је степен неизвесности система максималан. Као и у случају бацања два новчића, сва четири догађаја су подједнако вероватна и ентропија је 2, већа је него у случају аутомобила, када постоје и четири догађаја, али имају различите вероватноће – у овом случају ентропија је 1.75.
Количина Х игра централну улогу у теорији информација као мера информације, избора и неизвесности.
Цлауде Сханнон
Цлауде Елвоод Сханнон- амерички инжењер, криптоаналитичар иматематичар. Сматра се „оцем информатичког доба“. Оснивач теорије информација, која је нашла примену у савременим високотехнолошким комуникационим системима. Дати фундаменталне концепте, идеје и њихове математичке формулације које тренутно чине основу за савремене комуникационе технологије.
Године 1948. предложио је да се користи ријеч "бит"да означи најмању јединицу информације. Он је такође показао да је ентропија коју је унио еквивалент несигурности информација у пренесеној поруци. Сханнонови чланци "Математичка теорија комуникације" и "Теорија комуникације у тајним системима" сматрају се фундаменталним за теорију информација и криптографију.
Током Другог светског рата, Шенон је радио у Белл Лабораториес на развоју криптографских система, који су му касније помогли да открије методе кодирања за исправљање грешака.
Сханнон је дао кључни допринос теорији пробабилистичких шема, теорији игара, теорији аутомата и теорији система контроле - области науке које су део концепта кибернетике.
Цодинг
И бачене кованице, а пролазни аутомобили нисусу сличне бројевима 0 и 1. Да бисте пријавили догађаје који се дешавају у простору, морате смислити начин да опишете те догађаје. Овај опис се назива кодирање.
Поруке се могу кодирати на бесконачан број различитих начина. Али Шенон је показао да најкраћи код не може бити мањи у битовима од ентропије.
Зато је ентропија поруке мераинформације у поруци. Пошто је у свим разматраним случајевима број битова током кодирања једнак ентропији, то значи да је кодирање било оптимално. Укратко, више није могуће кодирати поруке о догађајима у нашим просторима.
Са оптималним кодирањем, не можете изгубити илиизобличити један пренесени бит у поруци. Ако се изгуби чак и један бит, информација ће бити искривљена. Али сви прави комуникациони канали не дају 100 посто поверења да ће сви делови поруке стићи до примаоца неискривљени.
Да бисте решили овај проблем, морате да урадитекод није оптималан, већ сувишан. На пример, пренесите заједно са поруком њен контролни збир - посебно израчунату вредност добијену при конвертовању кода поруке, а која се може проверити поновним израчунавањем по пријему поруке. Ако се пренесени контролни збир поклапа са израчунатим, вероватноћа да је пренос био без грешака биће прилично велика. А ако се контролни збир не поклапа, онда се мора затражити поновни пренос. Отприлике тако функционише већина комуникационих канала данас, на пример, када се преносе пакети информација преко Интернета.
Поруке природног језика
Размотрите простор догађаја који се састојиса постова на природном језику. Ово је посебан случај, али један од најважнијих. Догађаји ће бити пренесени знакови (слова фиксног писма). Ови знакови се налазе у језику са различитим вероватноћама.
Симбол највише фреквенције (тј. Један од њихнајчешће се налази у свим текстовима писаним на руском језику) је простор: од хиљаду знакова, просечан простор се налази 175 пута. Други по учесталости је симбол "о" - 90, иза којег следе други самогласници: "е" (или "е" - нећемо их разликовати) - 72, "а" - 62, и и - 62, и само даље први сугласник "т" - 53. А најрјеђи "ф" - овај симбол се налази само два пута на хиљаду знакова.
Користићемо 31-слово абецеде рускогјезик (не разликује се "е" и "е", као и "ъ" и "у"). Ако се сва слова нађу у језику са истом вероватноћом, ентропија по симболу би била Х = 5 битова, али ако узмемо у обзир стварне фреквенције симбола, ентропија ће бити мања: Х = 4.35 бита. (Ово је скоро два пута мање него код традиционалног кодирања, када се знак преноси као бајт - 8 бита).
Али ентропија карактера у језику је још нижа. Вероватноћа појављивања следећег карактера није у потпуности одређена просечном фреквенцијом карактера у свим текстовима. Који знак ће пратити зависи од већ пренетих знакова. На пример, у савременом руском језику, након симбола "ъ" не може да следи звук симбола сугласника. После два узастопна самогласника "е", трећи самогласник "е" следи изузетно ретко, осим ако је реч "дуги врат". То јест, следећи карактер је донекле унапред одређен. Ако узмемо у обзир такву предодређеност следећег симбола, неизвесност (то јест, информација) следећег симбола биће чак и мања од 4.35. Према неким проценама, следећи симбол на руском језику је унапред одређен структуром језика за више од 50%, односно, уз оптимално кодирање, све информације се могу пренети брисањем половине слова из поруке.
Друга ствар је да се свако слово не може сигурно избрисати. Високофреквентни "о" (и генерално самогласници), на пример, лако је прецртати, али ретко "ф" или "е" је прилично проблематично.
Природни језик на којем комуницирамо једни са другима је веома сувишан, а самим тим и поуздан; ако смо нешто погрешно чули, у реду је, информације ће се и даље преносити.
Али док Сханнон није увео меру информација, нисмо могли да схватимо да је језик сувишан, иу којој мери можемо компримовати поруке (и зашто текстуалне датотеке тако добро компримују архиватори).
Редундантност природног језика
У чланку "О томе како ми ворпсимание текткт"(име звучи баш овако!) снимљен је фрагмент романа Ивана Тургењева Нобле Нест и подвргнут је некој трансформацији: 34% слова је избрисано из фрагмента, али не случајно. Прва и последња слова у речима су остављена, избрисани су само самогласници, а не сви. Циљ није био само добити могућност да се опораве све информације о конвертованом тексту, већ и да се осигура да особа која чита овај текст није искусила никакве посебне тешкоће због недостајућих слова.
Зашто је релативно лако прочитати ово покваренотекст? Он заправо садржи потребне информације за реконструкцију читавих речи. Изворни говорник руског има одређени скуп догађаја (речи и читаве реченице) које користи у препознавању. Поред тога, говорник има на располагању и стандардне језичке структуре које му помажу да поврати информације. На пример,"Она је блае блее"- са великом вероватноћом може се прочитати као"Била је осетљивија.". Али одвојено"Она је више бла", радије, биће обновљена као"Била је беља". Пошто се у свакодневној комуникацији бавимоса каналима у којима има буке и сметњи, прилично смо добри у обнављању информација, али само оних које већ знамо унапред. На пример, фраза"Њене карактеристике нису нимало пријатне, хјтмннго рспкхли и спласх"чита добро осим последње речи"Спласх" - "окупљени". Ова реч није у савременом лексикону. Када брзо читате реч"Спласх"више се чита као „заглављени заједно“; када је спор, једноставно збуњује.
Дигитализација сигнала
Звук, или акустичне осцилације, је синусоид. Ово се види, на пример, на екрану едитора звука. Да бисте прецизно пренели звук, требаће вам бесконачан број вредности - цео синусни талас. То је могуће уз аналогну везу. Он пева - слушајте, контакт се не прекида док траје пјесма.
У дигиталној комуникацији преко канала, можемо пренети само коначан број вредности. Да ли то значи да се звук не може тачно репродуковати? Испоставило се да није.
Различити звуци су различито модулисани синусни талас.Преносимо само дискретне вредности (фреквенције и амплитуде), а сам синусни талас не треба да се преноси - пријемни уређај га може генерисати.Генерише синусоиду и на њу се постављамодулација креирана од вредности које се преносе преко комуникационог канала. Постоје тачни принципи чије се дискретне вредности морају пренети тако да се звук на улазу у комуникациони канал поклопи са звуком на излазу, где се ове вредности надограђују на неку стандардну синусоиду (ово је Котелникова теорема О томе).
Котелниковова теорема (у литератури на енглеском језику - Никвист - Шенонов теорем, теорема о читању)- фундаментална изјава у области дигиталногобрада сигнала, повезујући континуалне и дискретне сигнале и наводећи да се „било која функција Ф(т), која се састоји од фреквенција од 0 до ф1, може континуирано преносити са било којом тачношћу користећи бројеве који следе један за другим кроз 1/(2*ф1) секунди
Кодирање против сметњи. Хаммингови кодови
Ако је на непоузданом каналу за преносШифровани текст Ивана Тургењева, иако са неким грешкама, резултираће сасвим смисленим текстом. Али ако морамо да пренесемо све до мало, задатак ће бити нерешен: не знамо који су битови погрешни, јер је грешка случајна. Чак ни контролна сума не чува увек.
То је разлог због којег данас преносимо податкемреже не толико утичу на оптимално кодирање, у којем се максимална количина информација може убацити у канал, већ пре као кодирање (очигледно сувишно) у којем се грешке могу опоравити - баш као и када читамо речи у фрагменту Ивана Тургењева.
Постоје посебни кодови за исправљање грешака који вам омогућавају да повратите информације након квара. Један од њих је Хаммингов код.Рецимо да се наш читав језик састоји од три речи:111000, 001110, 100011. И извор поруке и прималац знају ове речи. А знамо да се грешке јављају у комуникацијском каналу, али када се преноси једна реч, не искривљује се више од једног бита информације.
Претпоставимо да прво проследимо реч 111000. Као резултат тога, не више од једне грешке (идентификовали смо грешку) може се претворити у једну од речи:
1) 111000,011,000, 101000, 110000, 111100, 111010, 111001.
Када преносите реч 001110, било која од речи може бити:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Коначно, за 100011 можемо доћи на рецепцији:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Имајте на уму да сва три листа нису парна.интерсецт. Другим ријечима, ако се на другом крају комуникацијског канала појави било која ријеч с пописа 1, приматељ сигурно зна да му је ријеч 111000, а ако се појави било која ријеч с пописа 2, појављује се ријеч 001110 и из пописа 3, ријеч 100011. Кажу да је наш код фиксирао једну грешку.
До корекције је дошло због два фактора.Прво, прималац зна цео "речник"простор за догађаје примаоца поруке се поклапа са простором онога који је пренео поруку. Када је код пренешен само једном грешком, изашла је реч која није била у речнику.
Друго, речи у речнику су изабране на посебан начин.Чак и ако је дошло до грешке, прималац не би могаомешати једну реч са другом. На пример, ако се речник састоји од речи „ћерка“, „тачка“, „бумп“, а током преноса резултат је био „вочка“, онда прималац, знајући да таква реч не постоји, не би могао да исправи грешку – може се испоставити да је било која од три речи тачна. Ако речник садржи „тачку“, „гаку“, „грану“ и знамо да није дозвољено више од једне грешке, онда је „вочка“ дефинитивно „тачка“, а не „гака“. У кодовима за исправљање грешака, речи се бирају прецизно тако да буду „препознатљиве” чак и након грешке. Једина разлика је у томе што код "абецеда" има само два слова - нулу и један.
Редундантност таквог кодирања је веома велика, а број речи које можемо пренијети је релативно мали.Морамо да искључимо било коју реч из речника,која се у случају грешке може поклапати са читавом листом која одговара пренетим речима (на пример, речи „ћерка“ и „тачка“ не могу бити у речнику). Али тачан пренос порука је толико важан да се велики труд троши на истраживање кодова отпорних на грешке.
Сенсатион
Појмови ентропије (или несигурности инепредвидивост) поруке и редундантности (или предодређености и предвидљивости) веома природно одговарају нашим интуитивним идејама о мерама информација. Што је порука непредвидљивија (што је већа ентропија, јер постоји мања вјероватноћа), то више информација носи. Осјећај (на примјер, сусрет с крокодилом на Тверској) је риједак догађај, његова предвидљивост је врло ниска, те је стога вриједност информација висока. Често се информације називају новостима - извештаји о догађајима који су се управо десили, о којима још увек ништа не знамо. Али ако нам кажу о другом и трећем времену о истим ријечима, сувишност поруке ће бити велика, њена непредвидљивост ће пасти на нулу, и ми једноставно нећемо слушати, машући се од говорника ријечима: "Знам, знам". Дакле, медији се толико труде да буду први. Ова подударност са интуитивним осећајем новости, која доводи до заиста неочекиваних вести, одиграла је важну улогу у чињеници да је Шенонов чланак, који није био намењен генералном читаоцу, постао сензација, коју је новина покупила као универзални кључ за знање о природи. - од лингвиста и књижевних критичара до биолога.
АлиШенонов концепт информација - ригорозна математичка теоријаи његова примена ван теорије комуникације је веома непоуздана. Али у самој теорији комуникације она игра централну улогу.
Семантичке информације
Шенон, уводећи концепт ентропије као мереинформације, добили прилику да раде са информацијама – пре свега, да их измере и процене карактеристике као што су капацитет канала или оптимално кодирање. Али главна претпоставка која је омогућила Шенону да успешно оперише информацијама била је претпоставка да је генерисање информација случајан процес који се може успешно описати у терминима теорије вероватноће.Ако је процес не-случајан, то јест, поштује законе (штавише, није увек јасно, као што се дешава на природном језику), онда Сханноново размишљање није применљиво на њега.Ништа што Шенон каже нема везе са значајним информацијама.
Док говоримо о знаковима (или словима абецеде),можемо се добро позабавити случајним догађајима, али чим стигнемо до речи језика, ситуација ће се драматично променити. Говор је процес који је посебно организован и овде структура поруке није ништа мање важна од карактера којима се преноси.
Недавно је изгледало као да не можемо ништа да урадимо.учињено да се бар некако приближи одмеравању смислености текста, али последњих година ситуација је почела да се мења. А то је првенствено због примене вештачких неуронских мрежа на задатке машинског превођења, аутоматског сумирања текстова, издвајања информација из текстова и генерисања извештаја на природном језику. Сви ови задаци укључују трансформацију, кодирање и декодирање значајних информација садржаних у природном језику. И постепено се формира идеја о губицима информација током таквих трансформација, а самим тим и о обиму значајних информација. Али данас, јасноћа и тачност коју Шенонова теорија информација има још увек није доступна у овим тешким проблемима.