Losowa przestrzeń zdarzeń
W 1946 roku amerykański statystyk John Tukey zaproponował nazwę BIT
Wyobraź sobie przestrzeń zdarzeń losowychktóry polega na rzucaniu jednej fałszywej monety, po obu stronach której znajduje się orzeł. Kiedy upada orzeł? Jasne jest, że zawsze. Wiemy o tym z wyprzedzeniem, ponieważ nasza przestrzeń jest tak zorganizowana. Upadek orła jest wiarygodnym wydarzeniem, to znaczy jego prawdopodobieństwo jest równe 1. Czy damy dużo informacji, jeśli powiemy o upuszczonym orle? Nie Ilość informacji w takiej wiadomości zostanie uznana za równą 0.
A teraz rzućmy uczciwą monetą:z jednej strony są to głowy, a z drugiej reszki, tak jak powinno być. Lądujące orły lub reszki będą dwoma różnymi zdarzeniami, które tworzą naszą przestrzeń zdarzeń losowych. Jeśli poinformujemy o wyniku jednego rzutu, będzie to rzeczywiście nowa informacja. Jeśli wypadnie orzeł, zgłosimy 0, a jeśli reszka wyniesie 1. Aby zgłosić tę informację, potrzebujemy tylko 1 bitu.
Co się zmieniło?W naszej przestrzeni eventowej pojawiła się niepewność. Mamy o czym opowiadać komuś, kto sam nie rzuca monetą i nie widzi wyniku rzutu. Aby jednak właściwie zrozumieć nasz przekaz, musi dokładnie wiedzieć, co robimy i co oznaczają zera i jedynki.Nasze pola zdarzeń muszą się zgadzać, a proces dekodowania ma na celu przywrócenie wyniku rzutu.Jeżeli przestrzeń zdarzeń nadajnika i odbiornika nie pokrywa się lub nie ma możliwości jednoznacznego odkodowania komunikatu, informacja pozostanie jedynie szumem w kanale komunikacyjnym.
Jeśli rzucisz dwa niezależnie i jednocześniemonet, wówczas będą cztery różne, równie prawdopodobne wyniki: reszka-reszka, reszka-reszka, reszka-reszka i reszka-reszka. Do przesłania informacji potrzebne będą nam 2 bity, a nasze komunikaty będą następujące: 00, 01, 10 i 11. Informacji jest dwa razy więcej. Stało się tak, ponieważ wzrosła niepewność. Jeśli spróbujemy odgadnąć wynik takiego rzutu parami, mamy dwukrotnie większe ryzyko, że się mylimy.
Im większa niepewność przestrzeni zdarzeń, tym więcej informacji o jej stanie zawiera komunikat.
Skomplikujmy trochę naszą przestrzeń eventową.Jak dotąd wszystkie zdarzenia, które miały miejsce, były równie prawdopodobne. Ale w przestrzeniach rzeczywistych nie wszystkie zdarzenia mają równe prawdopodobieństwo. Załóżmy, że prawdopodobieństwo, że wrona, którą zobaczymy, będzie czarna, jest bliskie 1. Prawdopodobieństwo, że pierwszym przechodniem, którego spotkamy na ulicy, będzie mężczyzną, wynosi około 0,5. Ale spotkanie krokodyla na ulicach Moskwy jest prawie niemożliwe. Intuicyjnie rozumiemy, że relacja o spotkaniu z krokodylem ma znacznie większą wartość informacyjną niż o czarnej wronie.Im mniejsze prawdopodobieństwo zdarzenia, tym więcej informacji w wiadomości o takim wydarzeniu.
Niech przestrzeń wydarzeń nie będzie tak egzotyczna. Po prostu stoimy w oknie i patrzymy na przejeżdżające samochody. Przechodzą samochody czterech kolorów, które musimy zgłosić. Aby to zrobić, zakodujemy kolory: czarny - 00, biały - 01, czerwony - 10, niebieski - 11. Aby zgłosić dokładnie, który samochód jechał, wystarczy przenieść 2 bity informacji.
Ale od dłuższego czasu oglądam samochody,zauważamy, że kolor samochodów jest nierównomiernie rozłożony: czarny - 50% (co sekundę), biały - 25% (co czwarty), czerwony i niebieski - 12,5% (co osiem) Następnie możesz zoptymalizować przesyłane informacje.
Większość samochodów jest czarna, więcoznaczmy czarny - 0 - najkrótszy kod, a kod całej reszty niech zaczyna się od 1. Z pozostałej połowy biały - 10, a pozostałe kolory zaczynają od 11. Na koniec oznaczmy czerwony - 110, a niebieski - 111.
Teraz, przekazując informacje o kolorze samochodu, możemy go dokładniej zakodować.
Shannon Entropy
Niech nasza przestrzeń eventowa będzie składać się z nróżne wydarzenia. Przy rzucie monetą dwiema reszkami zachodzi dokładnie jedno takie zdarzenie, przy rzucie jedną uczciwą monetą są dokładnie 2, przy rzucie dwiema monetami lub oglądaniu samochodów dokładnie 4. Każde zdarzenie ma prawdopodobieństwo wystąpienia. Przy rzucie monetą z dwiema reszkami mamy do czynienia z jednym zdarzeniem (wypadnięciem reszki) i jego prawdopodobieństwo wynosi p1 = 1. Przy rzucie uczciwą monetą mamy do czynienia z dwoma zdarzeniami, są one jednakowo prawdopodobne i prawdopodobieństwo każdego z nich wynosi 0,5: p1 = 0,5, p2 = 0,5. Podczas rzucania dwiema uczciwymi monetami zachodzą cztery zdarzenia, wszystkie są jednakowo prawdopodobne, a prawdopodobieństwo każdego z nich wynosi 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Obserwując samochody, mamy do czynienia z czterema zdarzeniami i mają one różne prawdopodobieństwa: czarne – 0,5, białe – 0,25, czerwone – 0,125, niebieskie – 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
To nie jest przypadek.Shannon wybrał entropię (miarę niepewności w przestrzeni zdarzeń), aby spełnić trzy warunki:
- 1Entropia wiarygodnego zdarzenia, którego prawdopodobieństwo wynosi 1, jest równe 0.
- Entropia dwóch niezależnych zdarzeń jest równa sumie entropii tych zdarzeń.
- Entropia jest maksymalna, jeśli wszystkie zdarzenia są równie prawdopodobne.
Wszystkie te wymagania są w pełni zgodne z naszymiwyobrażenia o niepewności przestrzeni zdarzeń. Jeśli istnieje tylko jedno zdarzenie (pierwszy przykład), nie ma niepewności. Jeżeli zdarzenia są niezależne – niepewność sumy jest równa sumie niepewności – po prostu się sumują (przykład rzutu dwiema monetami). I wreszcie, jeśli wszystkie zdarzenia są jednakowo prawdopodobne, wówczas stopień niepewności układu jest maksymalny. Podobnie jak w przypadku rzutu dwiema monetami, wszystkie cztery zdarzenia są jednakowo prawdopodobne, a entropia wynosi 2, jest większa niż w przypadku samochodów, gdzie również występują cztery zdarzenia, ale mają one inne prawdopodobieństwa - w tym przypadku entropia wynosi 1,75.
Wielkość H odgrywa kluczową rolę w teorii informacji jako miara informacji, wyboru i niepewności.
Claude'a Shannona
Claude Elwood Shannon- Amerykański inżynier, kryptoanalityk imatematyk. Uważany za „ojca ery informacji”. Twórca teorii informacji, która znalazła zastosowanie w nowoczesnych systemach komunikacji high-tech. Podane zostały podstawowe pojęcia, idee i ich matematyczne sformułowania, które obecnie stanowią podstawę nowoczesnych technologii komunikacyjnych.
W 1948 r. Zaproponował użycie słowa „bit”aby wskazać najmniejszą jednostkę informacji. Wykazał również, że wprowadzona przez niego entropia jest równoważna niepewności informacji w przesłanym komunikacie. Artykuły Shannona „Matematyczna teoria komunikacji” i „Teoria komunikacji w tajnych systemach” są uważane za podstawowe dla teorii informacji i kryptografii.
Podczas II wojny światowej Shannon pracował w Bell Laboratories nad opracowaniem systemów kryptograficznych, które później pomogły mu odkryć metody kodowania korygujące błędy.
Shannon wniósł kluczowy wkład w teorię schematów probabilistycznych, teorii gier, teorii automatów i teorii systemu sterowania - dziedzin nauki, które są częścią koncepcji cybernetyki.
Kodowanie
A rzucane monety i przejeżdżające samochody nie sąsą podobne do liczb 0 i 1. Aby zgłosić zdarzenia występujące w przestrzeniach, należy wymyślić sposób opisania tych zdarzeń. Ten opis nazywa się kodowaniem.
Wiadomości można kodować na nieskończoną liczbę różnych sposobów. Shannon pokazał jednak, że najkrótszy kod nie może być mniejszy w bitach niż entropia.
Dlatego entropia wiadomości jest miarąinformacje w wiadomości. Ponieważ we wszystkich rozpatrywanych przypadkach liczba bitów podczas kodowania jest równa entropii, oznacza to, że kodowanie było optymalne. Krótko mówiąc, nie ma już możliwości kodowania komunikatów o wydarzeniach w naszych przestrzeniach.
Dzięki optymalnemu kodowaniu nie można stracić anizniekształcać pojedynczy przesyłany bit w wiadomości. Jeśli utracony zostanie choć jeden bit, informacja zostanie zniekształcona. Jednak nie wszystkie rzeczywiste kanały komunikacji dają 100-procentową pewność, że wszystkie fragmenty przekazu dotrą do odbiorcy w niezniekształconej formie.
Aby rozwiązać ten problem, musisz to zrobićkod nie jest optymalny, ale zbędny. Przykładowo prześlij wraz z wiadomością jej sumę kontrolną – specjalnie obliczoną wartość uzyskaną podczas konwersji kodu wiadomości, którą można zweryfikować poprzez przeliczenie po odebraniu wiadomości. Jeśli przesłana suma kontrolna będzie zgodna z obliczoną, prawdopodobieństwo, że transmisja przebiegła bez błędów, będzie dość duże. A jeśli suma kontrolna nie jest zgodna, należy poprosić o retransmisję. Tak mniej więcej działa obecnie większość kanałów komunikacyjnych, na przykład podczas przesyłania pakietów informacji przez Internet.
Wiadomości w języku naturalnym
Zastanów się nad przestrzenią zdarzeń, która się składaz postów w języku naturalnym. To szczególny przypadek, ale jeden z najważniejszych. Zdarzeniami będą tutaj przesyłane znaki (litery stałego alfabetu). Znaki te znajdują się w języku z różnymi prawdopodobieństwami.
Najbardziej częsty symbol (tj. Taki, którynajczęściej występuje we wszystkich tekstach pisanych po rosyjsku) jest spacją: tysiąca znaków, średnia przestrzeń znajduje się 175 razy. Druga częstotliwość to symbol „o” - 90, po którym następują inne samogłoski: „e” (lub „e” - nie będziemy ich rozróżniać) - 72, „a” - 62, i i - 62, i tylko dalej pierwsza spółgłoska „t” - 53. I najrzadsza „f” - ten symbol znajduje się tylko dwa razy na tysiąc znaków.
Użyjemy 31-literowego alfabetu rosyjskiegojęzyk (nie różni się „e” i „e”, a także „ъ” i „ь”). Gdyby wszystkie litery zostały napotkane w języku z tym samym prawdopodobieństwem, to entropia na symbol byłaby H = 5 bitów, ale jeśli weźmiemy pod uwagę rzeczywiste częstotliwości symboli, entropia będzie mniejsza: H = 4,35 bitów. (Jest to prawie dwa razy mniej niż w przypadku tradycyjnego kodowania, gdy znak jest przesyłany jako bajt - 8 bitów).
Ale entropia postaci w języku jest jeszcze niższa. Prawdopodobieństwo wystąpienia następnego znaku nie jest całkowicie z góry określone przez średnią częstotliwość znaku we wszystkich tekstach. Który znak będzie podążał, zależy od już przesłanych znaków. Na przykład we współczesnym języku rosyjskim po symbolu „ъ” nie można podążać za dźwiękiem symbolu spółgłoskowego. Po dwóch kolejnych samogłoskach „e” trzecia samogłoska „e” występuje niezwykle rzadko, chyba że w słowie „długa szyjka”. Oznacza to, że kolejna postać jest do pewnego stopnia z góry określona. Jeśli weźmiemy pod uwagę taką z góry określoną wartość następnego symbolu, niepewność (czyli informacja) następnego symbolu będzie nawet mniejsza niż 4,35. Według niektórych szacunków następujący symbol w języku rosyjskim jest z góry określony przez strukturę języka o ponad 50%, czyli przy optymalnym kodowaniu wszystkie informacje mogą być przesyłane poprzez usunięcie połowy liter z wiadomości.
Inną rzeczą jest to, że nie każdą literę można bezpiecznie usunąć. Na przykład o wysokiej częstotliwości „o” (i ogólnie samogłoski) można łatwo wykreślić, ale rzadkie „f” lub „e” jest dość problematyczne.
Naturalny język, w którym się ze sobą komunikujemy, jest wysoce redundantny, a co za tym idzie niezawodny – jeśli coś przesłyszeliśmy, nie ma problemu, informacja i tak zostanie przekazana.
Ale dopóki Shannon nie wprowadził miary informacji, nie mogliśmy zrozumieć, że język jest zbędny i do jakiego stopnia możemy kompresować wiadomości (i dlaczego pliki tekstowe są tak dobrze skompresowane przez archiwizatora).
Redundancja języka naturalnego
W artykule „O tym, jak my vorpsimanie tektkt”(nazwa brzmi dokładnie tak:!) fragment powieści Noble Nest Iwana Turgieniewa został wykonany i poddany pewnej transformacji: z fragmentu usunięto 34% liter, ale nie losowych. Pierwsza i ostatnia litera słów pozostały, tylko samogłoski zostały usunięte i nie wszystkie. Celem było nie tylko uzyskanie możliwości odzyskania wszystkich informacji z przekonwertowanego tekstu, ale także upewnienie się, że osoba czytająca ten tekst nie doświadczyła żadnych szczególnych trudności z powodu brakujących liter.
Dlaczego stosunkowo łatwo jest przeczytać to uszkodzonetekst? W rzeczywistości zawiera informacje niezbędne do rekonstrukcji całych słów. Native speaker języka rosyjskiego ma określony zestaw zdarzeń (słów i całych zdań), których używa w celu rozpoznania. Ponadto mówiący ma do dyspozycji także standardowe struktury językowe, które pomagają mu odzyskać informacje. Na przykład,„Ona jest blae blee”- z dużym prawdopodobieństwem można odczytać jako„Była bardziej wrażliwa”.. Ale brane osobno„Ona jest więcej bla”raczej zostanie przywrócony jako„Była bielsza”. Ponieważ w codziennej komunikacji mamy do czynieniaprzy kanałach, w których występują szumy i zakłócenia, całkiem nieźle radzimy sobie z przywracaniem informacji, ale tylko tych, które już znamy z góry. Na przykład zdanie„Jej cechy nie są najmniej przyjemne, htya nmngo rspkhli i splash”czyta się dobrze, z wyjątkiem ostatniego słowa„Splash” - „zebrany”. Tego słowa nie ma we współczesnym leksykonie. Podczas szybkiego czytania słowa„Splash”brzmi raczej jak „sklejeni razem”, a gdy jest powolny, po prostu wprawia w zakłopotanie.
Digitalizacja sygnału
Dźwięk lub oscylacje akustyczne są sinusoidą. Można to zobaczyć na przykład na ekranie edytora dźwięku. Aby dokładnie przekazać dźwięk, będziesz potrzebował nieskończonej liczby wartości - całej fali sinusoidalnej. Jest to możliwe dzięki połączeniu analogowemu. Śpiewa - słuchaj, kontakt nie jest przerywany, gdy piosenka trwa.
W komunikacji cyfrowej kanałem możemy przesyłać tylko skończoną liczbę wartości. Czy to oznacza, że dźwięku nie da się dokładnie odtworzyć? Okazuje się, że nie.
Różne dźwięki są różnie modulowaną falą sinusoidalną.Przesyłamy tylko wartości dyskretne (częstotliwości i amplitudy), a sama fala sinusoidalna nie musi być przesyłana - urządzenie odbiorcze może je wygenerować.Generuje sinusoidę i nakłada się na niąmodulacja tworzona z wartości przesyłanych kanałem komunikacyjnym. Istnieją dokładne zasady, które muszą być przesyłane wartości dyskretne, aby dźwięk na wejściu do kanału komunikacyjnego pokrywał się z dźwiękiem na wyjściu, gdzie wartości te nakładają się na jakąś standardową sinusoidę (tak brzmi twierdzenie Kotelnikowa o).
Twierdzenie Kotelnikova (w literaturze anglojęzycznej - Nyquista - twierdzenie Shannona, twierdzenie czytania)- zasadnicze stwierdzenie w dziedzinie technologii cyfrowejprzetwarzanie sygnałów, łączenie sygnałów ciągłych i dyskretnych oraz stwierdzenie, że „dowolna funkcja F(t), składająca się z częstotliwości od 0 do f1, może być transmitowana w sposób ciągły z dowolną dokładnością za pomocą liczb następujących po sobie przez 1/(2*f1) sekundy
Kodowanie przeciwzakłóceniowe. Kody Hamminga
Jeśli na niepewnym kanale do transmisjiZakodowany tekst Iwana Turgieniewa, choć z pewnymi błędami, doprowadzi do całkiem sensownego tekstu. Ale jeśli będziemy musieli przenieść wszystko do pewnego stopnia, zadanie będzie nierozwiązane: nie wiemy, które bity są błędne, ponieważ błąd jest przypadkowy. Nawet suma kontrolna nie zawsze oszczędza.
Dlatego dzisiaj podczas przesyłania danychsieci nie tyle polegają na optymalnym kodowaniu, w którym maksymalna ilość informacji może być wprowadzona do kanału, ale raczej na takie kodowanie (oczywiście zbędne), w którym można odzyskać błędy - tak jak wtedy, gdy czytamy słowa we fragmencie Iwana Turgieniewa.
Istnieją specjalne kody korygujące błędy, które umożliwiają odzyskanie informacji po awarii. Jednym z nich jest kod Hamminga.Załóżmy, że cały nasz język składa się z trzech słów:111000, 001110, 100011. Zarówno źródło wiadomości, jak i odbiorca znają te słowa. A wiemy, że w kanale komunikacyjnym zdarzają się błędy, ale przy przesyłaniu jednego słowa zniekształca się nie więcej niż jeden bit informacji.
Załóżmy, że najpierw przekazujemy słowo 111000. W rezultacie nie więcej niż jeden błąd (zidentyfikowaliśmy błąd) może przekształcić się w jedno ze słów:
1) 111000,011 000, 101000, 110000, 111100, 111010, 111001.
Podczas przesyłania słowa 001110 można uzyskać dowolne ze słów:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Wreszcie, dla 100011 możemy dostać się w recepcji:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Pamiętaj, że wszystkie trzy listy nie są parowane.przecinają się. Innymi słowy, jeżeli na drugim końcu kanału komunikacyjnego pojawia się dowolne słowo z listy 1, odbiorca wie na pewno, że słowo 111000 zostało mu przesłane, a jeśli pojawi się dowolne słowo z listy 2, słowo 001110 i lista 3, pojawia się słowo 100011. Mówią, że nasz kod naprawił jeden błąd.
Korekta nastąpiła pod wpływem dwóch czynników.Po pierwsze, odbiorca zna cały „słownik”tj. przestrzeń zdarzeń odbiorcy wiadomości pokrywa się z przestrzenią tego, który przesłał wiadomość. Gdy kod został przesłany tylko z jednym błędem, pojawiło się słowo, którego nie było w słowniku.
Po drugie, słowa w słowniku zostały wybrane w specjalny sposób.Nawet jeśli wystąpił błąd, odbiorca nie mógłmylić jedno słowo z drugim. Przykładowo, jeśli słownik składa się ze słów „córka”, „kropka”, „guz”, a podczas transmisji wynikiem jest „woczka”, to odbiorca wiedząc, że takie słowo nie istnieje, nie będzie w stanie popraw błąd - dowolne z trzech słów może okazać się poprawne. Jeśli w słowniku występuje „kropka”, „dawka”, „gałąź” i wiemy, że dopuszczalny jest nie więcej niż jeden błąd, to „woczka” jest zdecydowanie „kropką”, a nie „dawką”. W kodach korygujących błędy słowa są dobierane precyzyjnie tak, aby były „rozpoznawalne” nawet po wystąpieniu błędu. Jedyna różnica polega na tym, że kod „alfabet” ma tylko dwie litery - zero i jedną.
Redundancja takiego kodowania jest bardzo duża, a liczba słów, które możemy w ten sposób przekazać, jest stosunkowo mała.Musimy wykluczyć dowolne słowo ze słownika,która w przypadku błędu może pokrywać się z całą listą odpowiadającą przesyłanym słowom (na przykład słowa „córka” i „kropka” nie mogą znajdować się w słowniku). Jednak dokładne przesyłanie komunikatów jest tak ważne, że wiele wysiłku włożono w badania nad kodami odpornymi na błędy.
Sensacja
Koncepcje entropii (lub niepewności inieprzewidywalność) przesłania i redundancji (lub predeterminacji i przewidywalności) bardzo naturalnie odpowiadają naszym intuicyjnym pomysłom na miarę informacji. Im bardziej nieprzewidywalna wiadomość (im większa jej entropia, ponieważ jest mniejsze prawdopodobieństwo), tym więcej informacji nosi. Wrażenie (na przykład spotkanie z krokodylem na Tverskaya) jest rzadkim wydarzeniem, jego przewidywalność jest bardzo niska, a zatem wartość informacji jest wysoka. Często informacje nazywane są wiadomościami - raporty o wydarzeniach, które właśnie miały miejsce, o których wciąż nic nie wiemy. Ale jeśli powiedzą nam o drugim i trzecim czasie o tych samych słowach, nadmiar wiadomości będzie wielki, jej nieprzewidywalność spadnie do zera, a my po prostu nie będziemy słuchać, machając przed mówcą słowami „Wiem, wiem”. Dlatego media tak bardzo starają się być pierwszymi. Ta zgodność z intuicyjnym poczuciem nowości, która rodzi naprawdę nieoczekiwane wiadomości, odegrała znaczącą rolę w tym, że artykuł Shannona, który nie był przeznaczony dla ogólnego czytelnika, stał się sensacją, którą prasa uznała za uniwersalny klucz do wiedzy o naturze. - od językoznawców i krytyków literackich po biologów.
AleKoncepcja informacji Shannona - rygorystyczna teoria matematycznaa jego zastosowanie poza teorią komunikacji jest bardzo zawodne. Ale w samej teorii komunikacji odgrywa główną rolę.
Informacje semantyczne
Shannona, wprowadzając koncepcję entropii jako miaryinformacji, otrzymał możliwość pracy z informacją – przede wszystkim jej pomiaru i oceny cech takich jak przepustowość kanału czy optymalne kodowanie. Jednak głównym założeniem, które pozwoliło Shannonowi skutecznie operować informacją, było założenie, że generowanie informacji jest procesem losowym, który z powodzeniem można opisać w kategoriach teorii prawdopodobieństwa.Jeśli proces jest nielosowy, to znaczy jest zgodny z prawami (co więcej, nie zawsze jest jasne, jak to się dzieje w języku naturalnym), to rozumowanie Shannona nie ma do niego zastosowania.Nic, co mówi Shannon, nie ma nic wspólnego z znaczeniem informacji.
Podczas gdy mówimy o postaciach (lub literach alfabetu),możemy spierać się w kategoriach zdarzeń losowych, ale gdy tylko dotrzemy do słów języka, sytuacja zmieni się dramatycznie. Mowa jest procesem specjalnie zorganizowanym, a tutaj struktura wiadomości jest nie mniej ważna niż znaki, przez które jest przesyłana.
Jeszcze niedawno wydawało się, że nie możemy nic zrobić.zrobiono, aby choć w jakiś sposób zbliżyć się do pomiaru sensowności tekstu, ale w ostatnich latach sytuacja zaczęła się zmieniać. A dzieje się tak przede wszystkim dzięki zastosowaniu sztucznych sieci neuronowych do zadań tłumaczenia maszynowego, automatycznego podsumowania tekstów, wydobywania informacji z tekstów i generowania raportów w języku naturalnym. Wszystkie te zadania obejmują przekształcanie, kodowanie i dekodowanie znaczących informacji zawartych w języku naturalnym. I stopniowo kształtuje się pojęcie o utracie informacji podczas takich transformacji, a co za tym idzie, o zakresie znaczącej informacji. Jednak dzisiaj jasność i dokładność, jaką posiada teoria informacji Shannona, nie jest jeszcze dostępna w przypadku tych trudnych problemów.