무작위 이벤트 공간
1946년 미국 통계학자 존 투키(John Tukey)가 BIT라는 이름을 제안했습니다.
임의의 이벤트 공간을 상상해보십시오.그것은 양면에 독수리가 하나의 가짜 동전을 던져 구성되어 있습니다. 독수리는 언제 가을? 그것은 항상 분명합니다. 우리는 우리의 공간이 그렇게 배열되어 있기 때문에 이것을 미리 알고 있습니다. 독수리가 떨어지는 것은 신뢰할 수있는 사건입니다. 즉, 그 확률은 1과 같습니다. 떨어 뜨린 독수리에 관해서 말하면 많은 정보를 줄까요? 아니요 그러한 메시지의 정보량은 0으로 간주됩니다.
이제 공정한 동전을 뒤집어 보겠습니다.한쪽에는 머리가 있고 다른 한쪽에는 꼬리가 있습니다. 착륙 머리 또는 꼬리는 무작위 이벤트 공간을 구성하는 두 가지 다른 이벤트가 될 것입니다. 한 번 던진 결과를 보고하면 그야말로 새로운 정보가 될 것이다. 앞면이 삭제되면 0을 보고하고 뒷면이 1이면 보고합니다. 이 정보를 보고하려면 1비트만 필요합니다.
무엇이 바뀌었나요?우리 행사 공간에 불확실성이 나타났습니다. 동전을 스스로 던지지 않고 던진 결과를 보지 못하는 사람에게 우리가 할 말이 있습니다. 하지만 우리 메시지를 제대로 이해하려면 우리가 무엇을 하고 있는지, 0과 1이 무엇을 의미하는지 정확히 알아야 합니다.우리의 이벤트 공간은 반드시 일치해야하며 디코딩 프로세스는 throw 결과를 복원하는 고유 한 방식입니다.송신기와 수신기의 이벤트 공간이 일치하지 않거나 메시지를 명확하게 디코딩할 가능성이 없는 경우 정보는 통신 채널에서 잡음으로만 남게 됩니다.
두 개를 독립적으로 동시에 던지면동전의 경우, 앞면-머리, 앞면-꼬리, 꼬리-머리 및 꼬리-꼬리의 네 가지 동일하게 가능한 결과가 있을 것입니다. 정보를 전송하려면 2비트가 필요하며 메시지는 00, 01, 10 및 11입니다. 정보가 두 배 더 많습니다. 불확실성이 증가했기 때문에 이런 일이 일어났습니다. 그러한 짝 던지기의 결과를 추측하려고 하면 틀릴 확률이 두 배나 됩니다.
이벤트 공간의 불확실성이 클수록 해당 상태에 대한 메시지에 더 많은 정보가 포함됩니다.
이벤트 공간을 조금 복잡하게 만들어 보겠습니다.지금까지 일어난 모든 사건은 확률이 동일했습니다. 그러나 실제 공간에서는 모든 사건이 동일한 확률을 갖는 것은 아닙니다. 우리가 보는 까마귀가 검은색일 확률은 1에 가까우며, 길에서 처음 만나는 행인이 남자일 확률은 약 0.5이다. 그러나 모스크바 거리에서 악어를 만나는 것은 거의 불가능합니다. 직관적으로 우리는 악어와의 만남에 관한 보고서가 검은 까마귀에 관한 보고서보다 정보 가치가 훨씬 더 크다는 것을 이해합니다.이벤트 발생 확률이 낮을수록 해당 이벤트에 대한 메시지의 정보가 많아집니다.
이벤트 공간을 이국적이지 않게하십시오. 우리는 단지 창문에 서서 지나가는 차들을 보았습니다. 4 가지 색상의 자동차가 지나가고 있습니다. 신고해야합니다. 이를 위해 검정 - 00, 흰색 - 01, 빨간색 - 10, 파란색 - 11 등의 색상을 인코딩합니다. 정확히 어떤 차를 몰고 왔는지 알려면 2 비트의 정보 만 전송하면됩니다.
그러나 차를보고있는 상당히 긴 시간 동안,자동차의 색상은 검정 - 50 % (1 초마다), 흰색 - 25 % (4 번째), 빨간색과 파란색 - 12.5 % (8 시간마다) 등으로 불균등하게 분포되어 있습니다. 그런 다음 전송 된 정보를 최적화 할 수 있습니다.
대부분의 자동차가 검은색이기 때문에가장 짧은 코드인 검정색 - 0을 표시하고 나머지 코드는 모두 1에서 시작하도록 하겠습니다. 나머지 절반 중 흰색 - 10, 나머지 색상은 11에서 시작합니다. 마지막으로 빨간색 - 110, 파란색 -을 표시하겠습니다. 111.
이제 자동차의 색상에 대한 정보를 전달하면 더 자세히 인코딩 할 수 있습니다.
섀넌 엔트로피
이벤트 공간을 n개로 구성하자다양한 이벤트. 앞면이 두 개 있는 동전을 던지면 그러한 사건이 정확히 한 번 발생하고, 공정한 동전 한 개를 던지면 정확히 2번이 발생하며, 동전 두 개를 던지거나 자동차를 관찰할 때는 정확히 4번이 발생합니다. 각 사건에는 발생 확률이 있습니다. 앞면이 두 개 있는 동전을 던질 때 하나의 사건(앞면이 떨어지는 것)이 있고 그 확률은 p1 = 1입니다. 공정한 동전을 던질 때 두 가지 사건이 있으며, 그 사건은 동일하게 발생하며 각각의 확률은 0.5입니다. p1 = 0.5, p2 = 0.5. 두 개의 공정한 동전을 던지면 네 가지 사건이 발생하며 모두 동일하게 발생하며 각 사건의 확률은 0.25입니다. p1 = 0.25, p2 = 0.25, p3 = 0.25, p4 = 0.25. 자동차를 관찰할 때 네 가지 이벤트가 있으며 확률은 서로 다릅니다: 검은색 - 0.5, 흰색 - 0.25, 빨간색 - 0.125, 파란색 - 0.125: p1 = 0.5, p2 = 0.25, p3 = 0.125, p4 = 0.125.
이것은 우연이 아닙니다.섀넌 (Shannon)은 엔트로피 (event space)에서의 불확실성에 대한 척도 인 엔트로피 (anatropy)를 선택하여 다음과 같은 세 가지 조건을 만족시켰다.
- 1확률이 1인 신뢰할 수 있는 사건의 엔트로피는 0과 같습니다.
- 두 개의 독립적 인 사건의 엔트로피는 이러한 사건의 엔트로피의 합과 같습니다.
- 엔트로피는 모든 사건이 똑같이 가능한 경우 최대입니다.
이러한 모든 요구 사항은 우리의 요구 사항과 완전히 일치합니다.이벤트 공간의 불확실성에 대한 아이디어. 사건이 하나만 있으면(첫 번째 예) 불확실성이 없습니다. 사건이 독립적인 경우(합의 불확실성은 불확실성의 합과 같습니다) 단순히 합산됩니다(두 개의 동전을 던지는 예). 그리고 마지막으로 모든 사건의 가능성이 동일하다면 시스템의 불확실성 정도는 최대입니다. 두 개의 동전을 던지는 경우와 마찬가지로 네 가지 사건이 모두 동일하게 발생하고 엔트로피는 2입니다. 이는 네 가지 사건이 있는 자동차의 경우보다 크지만 확률은 다릅니다. 이 경우 엔트로피는 다음과 같습니다. 1.75.
수량 H는 정보, 선택 및 불확실성의 척도로서 정보 이론에서 중심 역할을 합니다.
클로드 섀넌
클로드 엘우드 섀넌- 미국 엔지니어, 암호 분석가 및수학자. '정보화 시대의 아버지'로 불린다. 현대 첨단 통신 시스템에 적용되는 정보 이론의 창시자입니다. 현재 현대 통신 기술의 기초를 형성하는 기본 개념, 아이디어 및 수학적 공식을 제공합니다.
1948 년, "비트 (bit)"라는 단어를 사용하도록 제안되었는데,가장 작은 정보 단위를 나타냅니다. 그는 또한 그가 입력 한 엔트로피가 전송 된 메시지의 정보의 불확실성과 동일하다는 것을 입증했다. 섀넌 (Shannon)의 "커뮤니케이션 이론의 수학적 이론"과 "비밀 시스템의 의사 소통 이론"은 정보 이론과 암호학의 기초로 간주됩니다.
제2차 세계 대전 중에 Shannon은 Bell Laboratories에서 암호화 시스템을 개발했으며 나중에 오류 수정 코딩 방법을 발견하는 데 도움이 되었습니다.
섀넌 (Shannon)은 사이버네틱스 (cybernetics) 개념의 일부인 과학 영역 인 확률 론적 계획, 게임 이론, 오토 마타 이론 및 제어 시스템 이론에 중요한 기여를했다.
코딩
그리고 동전 던지기, 그리고 지나가는 차는 아닙니다.공백에서 발생하는 이벤트를보고하려면 이러한 이벤트를 설명하는 방법을 생각해야합니다. 이 설명을 코딩이라고합니다.
메시지는 무한한 방법으로 인코딩될 수 있습니다. 그러나 Shannon은 가장 짧은 코드가 엔트로피보다 비트 단위로 더 작을 수 없다는 것을 보여주었습니다.
이것이 바로 메시지의 엔트로피가 척도인 이유입니다.메시지의 정보. 고려된 모든 경우에서 인코딩 중 비트 수가 엔트로피와 동일하므로 이는 인코딩이 최적이었다는 것을 의미합니다. 간단히 말해서, 우리 공간에서 일어나는 사건에 대한 메시지를 더 이상 인코딩하는 것이 불가능합니다.
최적의 코딩을 사용하면 잃어버리거나 할 일이 없습니다.메시지에서 전송된 단일 비트를 왜곡합니다. 1비트라도 손실되면 정보가 왜곡됩니다. 그러나 모든 실제 통신 채널은 메시지의 모든 부분이 왜곡되지 않고 수신자에게 전달된다는 100% 확신을 제공하지 않습니다.
이 문제를 해결하려면 다음을 수행해야 합니다.코드는 최적이 아니지만 중복됩니다. 예를 들어, 메시지와 함께 체크섬을 전송합니다. 이는 메시지 코드를 변환할 때 특별히 계산된 값이며 메시지 수신 시 다시 계산하여 확인할 수 있습니다. 전송된 체크섬이 계산된 체크섬과 일치하면 전송에 오류가 없을 확률이 상당히 높습니다. 그리고 체크섬이 일치하지 않으면 재전송을 요청해야 합니다. 이는 예를 들어 인터넷을 통해 정보 패킷을 전송할 때와 같이 오늘날 대부분의 통신 채널이 대략적으로 작동하는 방식입니다.
자연 언어 메시지
다음과 같은 이벤트 공간을 고려하십시오.자연 언어로 게시물에서. 이것은 특별한 경우이지만 가장 중요한 것 중 하나입니다. 이벤트는 전송 된 문자 (고정 알파벳 문자)가됩니다. 이 문자들은 다른 확률로 언어에서 발견됩니다.
가장 빈도 기호 (즉,러시아어로 쓰여진 모든 텍스트에서 가장 빈번하게 발견됩니다)은 공백입니다 : 천개의 문자 중 평균 175 개의 공백이 발견됩니다. "e"(또는 "e"- 우리는 구별하지 않을 것입니다) - 72, "a"- 62, "- 62, 그리고 더 만나는 것입니다. 가장 희귀 한 "f"-이 기호는 1000 자당 2 회만 발견됩니다.
우리는 러시아의 31 문자 알파벳을 사용합니다.언어 ( "e"와 "e"는 물론 "ъ"와 "ь"도 다릅니다). 모든 문자가 동일한 확률로 언어에서 만난다면, 심볼 당 엔트로피는 H = 5 비트가 될 것이지만, 심볼의 실제 주파수를 고려하면, 엔트로피는 더 적어 질 것이다 : H = 4.35 비트. (문자가 바이트로 전송 될 때 - 이것은 8 비트보다 약 2 배 적습니다.)
그러나 언어의 문자 엔트로피는 훨씬 낮습니다. 다음 문자의 발생 확률은 모든 텍스트에서 문자의 평균 빈도에 의해 완전히 미리 결정되지는 않습니다. 따르는 문자는 이미 전송 된 문자에 따라 다릅니다. 예를 들어 현대 러시아어에서 "ъ"기호 다음에 자음 기호 소리를 따라갈 수 없습니다. 두 개의 연속 모음 "e"뒤에 세 번째 모음 "e"는 "긴 목"이라는 단어가없는 한 극히 드문 경우입니다. 즉, 다음 문자는 어느 정도 미리 결정됩니다. 우리가 다음 심볼의 그러한 사전 결정을 고려한다면, 다음 심볼의 불확실성 (즉, 정보)은 4.35보다 작을 것이다. 일부 추측에 따르면 러시아어의 다음 기호는 언어 구조에 따라 50 % 이상, 즉 최적의 코딩으로 미리 결정되며 메시지에서 문자의 절반을 삭제하여 모든 정보를 전송할 수 있습니다.
또 다른 한가지는 모든 편지를 안전하게 삭제할 수있는 것은 아니라는 것입니다. 예를 들어, 고주파 "o"(일반적으로 모음)는 교차하기 쉽지만 희귀 한 "f"또는 "e"는 상당히 문제가됩니다.
우리가 서로 소통하는 자연어는 중복성이 높기 때문에 신뢰할 수 있습니다. 뭔가를 잘못 듣더라도 괜찮습니다. 정보는 계속 전송됩니다.
그러나 Shannon이 정보 측정을 도입 할 때까지는 언어가 중복되고 어느 정도까지 메시지를 압축 할 수 있는지 (그리고 왜 텍스트 파일이 아카이버에 의해 잘 압축되었는지) 이해할 수 없었습니다.
자연어 중복성
"우리가 어떻게 vorpsimanie tektkt에 관하여"기사에서,(이 이름은 정확히 이와 비슷하게 들립니다!) 이반 투르 게네프의 Noble Nest 소설 조각이 취해졌고 일부 변형이있었습니다. 34 %의 글자가 조각에서 삭제되었지만 임의의 글자는 삭제되지 않았습니다. 단어의 첫 번째와 마지막 글자는 남겨졌으며 모음 만 삭제되었으며 모두는 삭제되지 않았습니다. 목표는 변환 된 텍스트에 대한 모든 정보를 복구 할 기회를 얻는 것뿐만 아니라이 텍스트를 읽는 사람이 글자 누락으로 인해 특별한 어려움을 겪지 않도록하는 것이 었습니다.
이 손상된 내용을 비교적 쉽게 읽을 수 있는 이유는 무엇입니까?텍스트? 실제로 전체 단어를 재구성하는 데 필요한 정보가 포함되어 있습니다. 러시아어 원어민은 인식에 사용하는 특정 이벤트 세트(단어 및 전체 문장)를 가지고 있습니다. 게다가 화자는 정보를 회복하는 데 도움이 되는 표준 언어 구조도 갖고 있습니다. 예를 들어,"그녀는 blae blee"- 높은 확률로 다음과 같이 읽을 수 있습니다."그녀는 더 예민했다.". 하지만 따로따로 가져옴"그녀는 더 뻐", 오히려 다음과 같이 복원됩니다."그녀는 더 희박했다". 일상적인 의사소통에서 우리는 거래를 하기 때문에소음과 간섭이 있는 채널을 사용하면 정보를 복원하는 데 꽤 능숙하지만 이미 미리 알고 있는 정보만 복원할 수 있습니다. 예를 들어, 다음 문구는"그녀의 속임수는 즐거움, htm nnggo rspkhli 및 spld보다 밝지 않습니다"마지막 단어 빼고는 잘 읽힌다“분할”–“함께 결합”. 이 단어는 현대 어휘집에 없습니다. 한 단어를 빨리 읽을 때Spld"함께 붙어 있다"라고 읽는 데 더 가깝고, 느리면 당황스러울 뿐입니다.
신호 디지털화
소리 또는 음향 진동은 사인파입니다. 예를 들어 사운드 편집기 화면에서 볼 수 있습니다. 사운드를 정확하게 전달하려면 사인파 전체가 무한한 수의 값이 필요합니다. 이것은 아날로그 연결로 가능합니다. 그는 노래합니다-당신은 듣고, 노래가 지속되는 동안 연락이 끊어지지 않습니다.
채널을 통한 디지털 통신에서는 한정된 수의 값만 전송할 수 있습니다. 이는 사운드가 정확하게 재생될 수 없다는 뜻인가요? 그렇지 않은 것으로 밝혀졌습니다.
다른 소리는 다르게 변조된 사인파입니다.우리는 불연속 값 (주파수 및 진폭) 만 전송하지만 정현파 자체는 전송할 필요가 없습니다. 수신 장치에서 생성 할 수 있습니다.정현파를 생성하고 그 위에 겹쳐집니다.통신 채널을 통해 전송된 값으로 생성된 변조입니다. 통신 채널에 대한 입력의 사운드가 출력의 사운드와 일치하도록 이산 값을 전송해야 하는 정확한 원리가 있습니다. 여기서 이러한 값은 일부 표준 정현파에 겹쳐집니다(이것이 Kotelnikov의 정리입니다) 에 대한).
코 텔니 코프 정리 (영문학-나이키 스트 샤논 정리, 정리 계산)- 디지털 분야의 기본 진술신호 처리, 연속 신호와 이산 신호를 연결하고 "0에서 f1까지의 주파수로 구성된 모든 함수 F(t)는 1/(2*f1)초 동안 서로 뒤따르는 숫자를 사용하여 어떤 정확도로든 연속적으로 전송될 수 있습니다"라고 명시되어 있습니다.
강력한 코딩. 해밍 코드
신뢰할 수없는 채널을 통해 전송하는 경우일정량의 오류가 있지만 Ivan Turgenev의 코딩 된 텍스트는 완전히 의미있는 텍스트로 판명됩니다. 그러나 모든 것을 정확하게 비트로 전송해야하는 경우 작업이 해결되지 않습니다. 오류가 무작위이므로 어떤 비트가 잘못되었는지 알 수 없습니다. 체크섬조차도 항상 저장되는 것은 아닙니다.
이것이 오늘날 데이터를 전송할 때네트워크는 최대량의 정보를 채널에 푸시 할 수있는 최적의 코딩을 위해 노력하는 것이 아니라 읽을 때 Ivan Turgenev의 조각에서 단어를 복구 한 것처럼 오류를 복원 할 수있는 코딩 (분명히 과도한)을 위해 노력합니다.
장애 발생 후 정보를 복구 할 수있는 특수한 오류 수정 코드가 있습니다. 그중 하나가 해밍 코드입니다.전체 언어가 세 단어로 구성되어 있다고 가정해 보겠습니다.111000, 001110, 100011. 메시지의 출처와 수신자 모두 이 단어를 알고 있습니다. 그리고 우리는 통신 채널에서 오류가 발생한다는 것을 알고 있지만 한 단어를 전송할 때 정보의 1비트 이상이 왜곡되지 않습니다.
먼저 단어 111000을 전달한다고 가정 해 봅시다. 오류가 하나 이상 (강조된 오류)으로 인해 다음 단어 중 하나로 바뀔 수 있습니다.
1) 111000,011000, 101000, 110000, 111100, 111010, 111001.
단어 001110을 전송할 때 모든 단어가 나올 수 있습니다.
2) 001110,101110, 011110, 000110, 00100011 년 10 월00, 001111.
마지막으로 100011의 경우 리셉션에서 얻을 수 있습니다.
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
세 가지 목록 모두가 한 쌍이 아닙니다.교차합니다. 즉, 목록 1의 단어가 통신 채널의 다른 쪽 끝에 표시되면 수신자는 단어 111000이 자신에게 전송되었음을 확실히 알고, 목록 2의 단어가 001110, 목록 3에서 단어 100011이 나타나는 경우 수신자는 알고 있습니다. 그들은 우리 코드가 하나의 오류를 수정했다고 말합니다.
두 가지 요인으로 인해 수정이 발생했습니다.첫째, 수신자는 전체 "사전"을 알고 있습니다.즉, 메시지 수신자의 이벤트 공간은 메시지를 전송 한 사람의 공간과 일치합니다. 코드가 단 하나의 오류로 전송되었을 때 사전에없는 단어가 나왔습니다.
둘째, 사전의 단어가 특별한 방식으로 선택되었습니다.오류가 발생하더라도 수신자는한 단어를 다른 단어와 혼동하십시오. 예를 들어, 사전이 "daughter", "dot", "bump"라는 단어로 구성되어 있고 전송 중에 결과가 "vochka"인 경우 수신자는 그러한 단어가 존재하지 않는다는 것을 알면서 다음을 수행할 수 없습니다. 오류를 수정하세요. 세 단어 중 하나라도 올바른 것으로 판명될 수 있습니다. 사전에 "dot", "daw", "branch"가 포함되어 있고 하나 이상의 실수가 허용되지 않는다는 것을 알고 있다면 "vochka"는 확실히 "daw"가 아니라 "dot"입니다. 오류 수정 코드에서는 오류 후에도 "인식할 수" 있도록 단어가 정확하게 선택됩니다. 유일한 차이점은 "알파벳" 코드에는 0과 1이라는 두 글자만 있다는 것입니다.
이러한 코딩의 중복성은 매우 크며 이러한 방식으로 전달할 수있는 단어의 수는 상대적으로 적습니다.우리는 사전에서 어떤 단어든 제외해야 합니다.오류가 있는 경우 전송된 단어에 해당하는 전체 목록과 일치할 수 있습니다(예를 들어 "daughter" 및 "dot"이라는 단어는 사전에 있을 수 없음). 그러나 정확한 메시지 전송이 매우 중요하기 때문에 오류 방지 코드에 대한 연구에 많은 노력이 소요됩니다.
센세이션
엔트로피의 개념 (또는 불확실성예측 불가능) 메시지 및 중복성 (또는 사전 결정 및 예측 가능성)은 정보 측정에 대한 직관적 인 아이디어와 매우 자연스럽게 일치합니다. 메시지를 예측할 수 없을수록 (엔트로피가 클수록 메시지가 적을수록) 더 많은 정보를 전달합니다. 감각 (예 : Tverskaya에서 악어와의 회의)은 드문 경우이며 예측 가능성이 매우 작으므로 정보 비용이 높습니다. 종종 정보를 뉴스라고합니다. 방금 발생한 이벤트에 대한 메시지로, 여전히 우리는 아무것도 알지 못합니다. 그러나 그들이 거의 같은 단어로 두 번째와 세 번째로 사건에 대해 알려 주면 메시지가 중복되고 예측할 수없는 수준이 0으로 떨어지며 우리는 듣지 않을 것입니다.“알고 있습니다. 따라서 미디어는 첫 번째가되기 위해 열심히 노력하고 있습니다. 정말 예상치 못한 뉴스를 낳는 직관적 인 참신성에 해당하는이 글은 일반 독자를 대상으로하지 않은 Shannon의 기사가 센세이션이되었으며, 언론에 의해 선택되어 다양한 전문 분야의 과학자들에 의해 자연을 아는 보편적 인 열쇠로 받아 들여졌습니다. -언어 학자와 문학 비평가부터 생물 학자까지.
하지만Shannon 정보 개념-엄격한 수학 이론의사 소통 이론 이외의 응용 프로그램은 매우 신뢰할 수 없습니다. 그러나 의사 소통 자체에서 중심 역할을합니다.
시맨틱 정보
엔트로피 개념을 척도로 도입한 섀넌정보를 가지고 작업할 수 있는 기회를 얻었습니다. 우선 정보를 측정하고 채널 용량이나 최적의 코딩과 같은 특성을 평가했습니다. 그러나 Shannon이 정보를 성공적으로 조작할 수 있게 한 주요 가정은 정보 생성이 확률 이론의 관점에서 성공적으로 설명될 수 있는 무작위 프로세스라는 가정이었습니다.프로세스가 무작위 적이 지 않은 경우, 즉 법을 준수하는 경우 (자연 언어에서 발생하는 것처럼 항상 명확하지는 않지만) Shannon의 추론은 적용되지 않습니다.Shannon이 말하는 어떤 내용도 정보가 의미 있는 것과 관련이 없습니다.
문자 (또는 알파벳 문자)에 대해 이야기하는 동안우리는 무작위 사건으로 추론을 할 수도 있지만, 언어의 말에 도달하자마자 상황은 극적으로 변할 것입니다. 음성은 특별히 조직 된 과정이며, 여기서 메시지의 구조는 전송되는 문자보다 중요하지 않습니다.
최근에는 우리가 아무것도 할 수 없는 것 같았어요.텍스트의 의미를 측정하는 데 조금이라도 더 가까워지기 위해 노력했지만 최근 몇 년 동안 상황이 바뀌기 시작했습니다. 이는 주로 기계 번역, 텍스트 자동 요약, 텍스트에서 정보 추출, 자연어로 보고서 생성 작업에 인공 신경망을 사용하기 때문입니다. 이러한 모든 작업에는 자연어에 포함된 의미 있는 정보를 변환, 인코딩 및 디코딩하는 작업이 포함됩니다. 그리고 그러한 변환 중 정보 손실과 그에 따른 의미 있는 정보의 범위에 대한 아이디어가 점차 형성됩니다. 그러나 오늘날 이러한 어려운 문제에서는 Shannon의 정보 이론이 갖는 명확성과 정확성을 아직 사용할 수 없습니다.