Τυχαίο χώρο συμβάντων
Το 1946, ο Αμερικανός στατιστικολόγος John Tukey πρότεινε το όνομα BIT
Φανταστείτε ένα χώρο τυχαίων γεγονότωνπου συνίσταται στη ρίψη ενός ψεύτικου νομίσματος, στις δύο πλευρές του οποίου είναι ένας αετός. Πότε πέφτει ένας αετός; Είναι σαφές ότι πάντα. Αυτό το γνωρίζουμε εκ των προτέρων, επειδή ο χώρος μας είναι τόσο διευθετημένος. Η πτώση ενός αετού είναι ένα αξιόπιστο γεγονός, δηλαδή η πιθανότητά του είναι ίση με 1. Θα δώσουμε πολλές πληροφορίες αν λέμε για έναν αετό που έπεσε; Όχι Το ποσό των πληροφοριών σε ένα τέτοιο μήνυμα, θα θεωρηθεί ότι είναι ίσο με 0.
Τώρα ας γυρίσουμε το δίκαιο κέρμα:από τη μια πλευρά είναι κεφάλια, και από την άλλη, ουρές, όπως πρέπει. Οι κεφαλές ή οι ουρές προσγείωσης θα είναι δύο διαφορετικά γεγονότα που συνθέτουν τον χώρο των τυχαίων γεγονότων μας. Αν αναφέρουμε το αποτέλεσμα μιας εκτίναξης, θα είναι όντως νέα πληροφορία. Εάν πέσουν οι κεφαλές, θα αναφέρουμε 0, και αν οι ουρές είναι 1. Για να αναφέρουμε αυτές τις πληροφορίες, χρειαζόμαστε μόνο 1 bit.
Τι άλλαξε;Η αβεβαιότητα εμφανίστηκε στον χώρο εκδηλώσεών μας. Έχουμε κάτι να πούμε για αυτό σε κάποιον που δεν πετάει μόνος του ένα νόμισμα και δεν βλέπει το αποτέλεσμα της εκτίναξης. Αλλά για να κατανοήσει σωστά το μήνυμά μας, πρέπει να ξέρει ακριβώς τι κάνουμε και τι σημαίνουν τα 0 και 1.Οι χώροι συμβάντων μας πρέπει να ταιριάζουν και η διαδικασία αποκωδικοποίησης είναι μοναδική για να αποκαταστήσει το αποτέλεσμα της απόθεσης.Εάν ο χώρος συμβάντων του πομπού και του δέκτη δεν συμπίπτει ή δεν υπάρχει δυνατότητα ξεκάθαρης αποκωδικοποίησης του μηνύματος, οι πληροφορίες θα παραμείνουν μόνο θόρυβος στο κανάλι επικοινωνίας.
Αν ρίξεις δύο ανεξάρτητα και ταυτόχρονανομίσματα, τότε θα υπάρχουν τέσσερα διαφορετικά εξίσου πιθανά αποτελέσματα: κεφαλές-κεφαλές, κεφαλές-ουρές, ουρές-κεφαλές και ουρές-ουρές. Για να μεταδώσουμε πληροφορίες, θα χρειαστούμε 2 bit και τα μηνύματά μας θα είναι τα εξής: 00, 01, 10 και 11. Υπάρχουν διπλάσιες πληροφορίες. Αυτό συνέβη επειδή η αβεβαιότητα αυξήθηκε. Αν προσπαθήσουμε να μαντέψουμε το αποτέλεσμα μιας τέτοιας ζευγαρωμένης εκτίναξης, έχουμε διπλάσιες πιθανότητες να κάνουμε λάθος.
Όσο μεγαλύτερη είναι η αβεβαιότητα του χώρου γεγονότων, τόσο περισσότερες πληροφορίες περιέχει το μήνυμα για την κατάστασή του.
Ας περιπλέκουμε λίγο τον χώρο των εκδηλώσεών μας.Μέχρι στιγμής όλα τα γεγονότα που έχουν συμβεί ήταν εξίσου πιθανά. Αλλά σε πραγματικούς χώρους, δεν έχουν όλα τα γεγονότα ίσες πιθανότητες. Ας πούμε ότι η πιθανότητα το κοράκι που βλέπουμε να είναι μαύρο είναι κοντά στο 1. Η πιθανότητα ο πρώτος περαστικός που θα συναντήσουμε στο δρόμο να είναι άντρας είναι περίπου 0,5. Αλλά η συνάντηση με έναν κροκόδειλο στους δρόμους της Μόσχας είναι σχεδόν αδύνατο. Διαισθητικά, καταλαβαίνουμε ότι μια αναφορά για μια συνάντηση με έναν κροκόδειλο έχει πολύ μεγαλύτερη πληροφοριακή αξία από ότι για ένα μαύρο κοράκι.Όσο χαμηλότερη είναι η πιθανότητα ενός συμβάντος, τόσο περισσότερες πληροφορίες στο μήνυμα σχετικά με ένα τέτοιο συμβάν.
Αφήστε το χώρο του εκδηλώματος να μην είναι τόσο εξωτικό. Απλά στέκεστε στο παράθυρο και κοιτάμε τα αυτοκίνητα που περνούν. Έχουν περάσει αυτοκίνητα τεσσάρων χρωμάτων, τα οποία πρέπει να αναφέρουμε. Για να γίνει αυτό, θα κωδικοποιήσουμε τα χρώματα: μαύρο - 00, λευκό - 01, κόκκινο - 10, μπλε - 11. Για να αναφέρουμε ακριβώς ποιο αυτοκίνητο οδήγησε, πρέπει απλά να μεταφέρουμε 2 bits πληροφοριών.
Αλλά για πολύ καιρό παρακολουθώντας τα αυτοκίνητα,παρατηρούμε ότι το χρώμα των αυτοκινήτων είναι άνισα κατανεμημένο: μαύρο - 50% (κάθε δευτερόλεπτο), λευκό - 25% (κάθε τέταρτο), κόκκινο και μπλε - 12,5% (κάθε ογδό). Στη συνέχεια, μπορείτε να βελτιστοποιήσετε τις πληροφορίες που μεταδίδονται.
Τα περισσότερα από τα αυτοκίνητα είναι μαύρα, έτσιας συμβολίσουμε το μαύρο - 0 - τον συντομότερο κωδικό, και ας τον κωδικό όλων των υπολοίπων να ξεκινά από το 1. Από το υπόλοιπο μισό, το λευκό - 10, και τα υπόλοιπα χρώματα ξεκινούν από το 11. Τέλος, ας συμβολίσουμε το κόκκινο - 110 και το μπλε - 111.
Τώρα, μεταφέροντας πληροφορίες σχετικά με το χρώμα του αυτοκινήτου, μπορούμε να το κωδικοποιήσουμε πιο προσεκτικά.
Έντροπη Shannon
Έστω ο χώρος εκδηλώσεών μας να αποτελείται από nδιαφορετικές εκδηλώσεις. Όταν πετάς ένα κέρμα με δύο κεφαλές υπάρχει ακριβώς ένα τέτοιο γεγονός, όταν πετάς ένα δίκαιο νόμισμα είναι ακριβώς 2, όταν πετάς δύο νομίσματα ή παρακολουθείς αυτοκίνητα είναι ακριβώς 4. Κάθε γεγονός έχει μια πιθανότητα να συμβεί. Κατά τη ρίψη ενός νομίσματος με δύο κεφαλές, υπάρχει ένα γεγονός (πτώση κεφαλιών) και η πιθανότητα του είναι p1 = 1. Όταν ρίχνετε ένα δίκαιο νόμισμα, υπάρχουν δύο γεγονότα, είναι εξίσου πιθανά και η πιθανότητα καθενός είναι 0,5: p1 = 0,5, p2 = 0,5. Κατά τη ρίψη δύο δίκαιων νομισμάτων, υπάρχουν τέσσερα γεγονότα, όλα είναι εξίσου πιθανά και η πιθανότητα καθενός είναι 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Κατά την παρατήρηση των αυτοκινήτων, υπάρχουν τέσσερα συμβάντα και έχουν διαφορετικές πιθανότητες: μαύρο - 0,5, λευκό - 0,25, κόκκινο - 0,125, μπλε - 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.
Αυτό δεν είναι τυχαίο.Ο Shannon επέλεξε την εντροπία (ένα μέτρο αβεβαιότητας στο χώρο της εκδήλωσης) έτσι ώστε να πληρούνται τρεις προϋποθέσεις:
- 1Η εντροπία ενός αξιόπιστου γεγονότος, η πιθανότητα του οποίου είναι 1, είναι ίση με 0.
- Η εντροπία δύο ανεξάρτητων γεγονότων είναι ίση με το άθροισμα των εντροπιών αυτών των γεγονότων.
- Η εντροπία είναι μέγιστη εάν όλα τα συμβάντα είναι εξίσου πιθανά.
Όλες αυτές οι απαιτήσεις είναι πλήρως συνεπείς με τις δικές μαςιδέες για την αβεβαιότητα του χώρου εκδηλώσεων. Εάν υπάρχει μόνο ένα γεγονός (το πρώτο παράδειγμα), δεν υπάρχει αβεβαιότητα. Εάν τα γεγονότα είναι ανεξάρτητα - η αβεβαιότητα του αθροίσματος ισούται με το άθροισμα των αβεβαιοτήτων - απλώς αθροίζονται (το παράδειγμα της ρίψης δύο νομισμάτων). Και τέλος, αν όλα τα γεγονότα είναι εξίσου πιθανά, τότε ο βαθμός αβεβαιότητας του συστήματος είναι μέγιστος. Όπως στην περίπτωση της ρίψης δύο νομισμάτων, και τα τέσσερα γεγονότα είναι εξίσου πιθανά και η εντροπία είναι 2, είναι μεγαλύτερη από ό,τι στην περίπτωση των αυτοκινήτων, όταν υπάρχουν επίσης τέσσερα γεγονότα, αλλά έχουν διαφορετικές πιθανότητες - στην περίπτωση αυτή η εντροπία είναι 1,75.
Η ποσότητα Η παίζει κεντρικό ρόλο στη θεωρία πληροφοριών ως μέτρο της πληροφορίας, της επιλογής και της αβεβαιότητας.
Κλοντ Σάνον
Claude Elwood Shannon- Αμερικανός μηχανικός, κρυπτοαναλυτής καιμαθηματικός. Θεωρείται ο «πατέρας της εποχής της πληροφορίας». Ιδρυτής της θεωρίας της πληροφορίας, που έχει βρει εφαρμογή στα σύγχρονα συστήματα επικοινωνίας υψηλής τεχνολογίας. Παρέχονται θεμελιώδεις έννοιες, ιδέες και οι μαθηματικές τους διατυπώσεις που σήμερα αποτελούν τη βάση για τις σύγχρονες τεχνολογίες επικοινωνίας.
Το 1948, πρότεινε να χρησιμοποιήσει τη λέξη "bit"για να δηλώσετε τη μικρότερη μονάδα πληροφοριών. Έδειξε επίσης ότι η εντροπία που εισήγαγε είναι ισοδύναμη με την αβεβαιότητα των πληροφοριών στο μεταδιδόμενο μήνυμα. Τα άρθρα του Shannon "Μαθηματική Θεωρία της Επικοινωνίας" και "Θεωρία της Επικοινωνίας σε Μυστικά Συστήματα" θεωρούνται θεμελιώδη για τη θεωρία των πληροφοριών και την κρυπτογραφία.
Κατά τη διάρκεια του Β' Παγκοσμίου Πολέμου, ο Shannon εργάστηκε στα Bell Laboratories για να αναπτύξει κρυπτογραφικά συστήματα, τα οποία αργότερα τον βοήθησαν να ανακαλύψει μεθόδους κωδικοποίησης διόρθωσης σφαλμάτων.
Ο Shann συνέβαλε σημαντικά στη θεωρία των πιθανοτικών συστημάτων, της θεωρίας των παιχνιδιών, της θεωρίας των αυτομάτων και της θεωρίας του συστήματος ελέγχου - τομείς της επιστήμης που αποτελούν μέρος της έννοιας της κυβερνητικής.
Κωδικοποίηση
Και ρίχνονται νομίσματα, και τα αυτοκίνητα που περνούν δεν είναιείναι παρόμοια με τους αριθμούς 0 και 1. Για να αναφέρετε συμβάντα που εμφανίζονται στα κενά, πρέπει να σκεφτείτε έναν τρόπο για να περιγράψετε αυτά τα συμβάντα. Αυτή η περιγραφή ονομάζεται κωδικοποίηση.
Τα μηνύματα μπορούν να κωδικοποιηθούν με άπειρους διαφορετικούς τρόπους. Αλλά ο Shannon έδειξε ότι ο συντομότερος κώδικας δεν μπορεί να είναι μικρότερος σε bit από την εντροπία.
Γι' αυτό η εντροπία ενός μηνύματος είναι μέτροπληροφορίες στο μήνυμα. Δεδομένου ότι σε όλες τις εξεταζόμενες περιπτώσεις ο αριθμός των bit κατά την κωδικοποίηση είναι ίσος με την εντροπία, αυτό σημαίνει ότι η κωδικοποίηση ήταν βέλτιστη. Με λίγα λόγια, δεν είναι πλέον δυνατή η κωδικοποίηση μηνυμάτων για γεγονότα στους χώρους μας.
Με τη βέλτιστη κωδικοποίηση, δεν μπορείτε να χάσετε ήπαραμόρφωση ενός μόνο μεταδιδόμενου bit στο μήνυμα. Εάν χαθεί έστω και ένα bit, οι πληροφορίες θα παραμορφωθούν. Αλλά όλα τα πραγματικά κανάλια επικοινωνίας δεν παρέχουν 100 τοις εκατό εμπιστοσύνη ότι όλα τα κομμάτια του μηνύματος θα φτάσουν στον παραλήπτη χωρίς παραμόρφωση.
Για να διορθώσετε αυτό το πρόβλημα πρέπει να κάνετεο κωδικός δεν είναι βέλτιστος, αλλά περιττός. Για παράδειγμα, μεταδώστε μαζί με το μήνυμα το άθροισμα ελέγχου του - μια ειδικά υπολογισμένη τιμή που λαμβάνεται κατά τη μετατροπή του κωδικού μηνύματος και η οποία μπορεί να επαληθευτεί με επανυπολογισμό κατά τη λήψη του μηνύματος. Εάν το μεταδιδόμενο άθροισμα ελέγχου ταιριάζει με το υπολογιζόμενο, η πιθανότητα η μετάδοση να ήταν χωρίς σφάλματα θα είναι αρκετά υψηλή. Και αν το άθροισμα ελέγχου δεν ταιριάζει, τότε πρέπει να ζητηθεί αναμετάδοση. Αυτός είναι περίπου ο τρόπος με τον οποίο λειτουργούν τα περισσότερα κανάλια επικοινωνίας σήμερα, για παράδειγμα, κατά τη μετάδοση πακέτων πληροφοριών μέσω του Διαδικτύου.
Μηνύματα φυσικής γλώσσας
Εξετάστε το χώρο εκδήλωσης που συνίσταταιαπό θέσεις σε φυσική γλώσσα. Αυτή είναι μια ειδική περίπτωση, αλλά μία από τις πιο σημαντικές. Τα συμβάντα εδώ θα είναι οι μεταδιδόμενοι χαρακτήρες (γράμματα ενός σταθερού αλφαβήτου). Αυτοί οι χαρακτήρες βρίσκονται στη γλώσσα με διαφορετικές πιθανότητες.
Το σύμβολο συχνότητας (δηλαπαντάται συχνά σε όλα τα κείμενα γραμμένα στα ρωσικά) είναι ένας χώρος: χίλιους χαρακτήρες, ένας μέσος χώρος βρίσκεται 175 φορές. Η δεύτερη συχνότητα είναι το σύμβολο "o" - 90, ακολουθούμενο από άλλα φωνήεντα: "e" (ή "e" - δεν θα τα διακρίνουμε) - 72, "a" - 62 και i - το πρώτο σύμφωνο "t" - 53. Και το σπανιότερο "f" - αυτό το σύμβολο βρίσκεται μόνο δύο φορές ανά χιλιάδες χαρακτήρες.
Θα χρησιμοποιήσουμε το αλφάβητο των 31 γραμμάτων της ρωσικής γλώσσαςγλώσσα (δεν διαφέρει "e" και "e", καθώς και "ü" και "ь"). Εάν όλα τα γράμματα συναντήθηκαν στη γλώσσα με την ίδια πιθανότητα, τότε η εντροπία ανά σύμβολο θα ήταν H = 5 bits, αλλά αν λάβουμε υπόψη τις πραγματικές συχνότητες των συμβόλων, η εντροπία θα είναι μικρότερη: H = 4,35 bits. (Αυτό είναι σχεδόν δύο φορές λιγότερο από ό, τι με την παραδοσιακή κωδικοποίηση, όταν ένας χαρακτήρας μεταδίδεται ως byte - 8 bits).
Αλλά η εντροπία του χαρακτήρα στη γλώσσα είναι ακόμη χαμηλότερη. Η πιθανότητα εμφάνισης του επόμενου χαρακτήρα δεν είναι εντελώς προκαθορισμένη από τη μέση συχνότητα του χαρακτήρα σε όλα τα κείμενα. Ο χαρακτήρας που θα ακολουθήσει εξαρτάται από τους χαρακτήρες που έχουν ήδη μεταφερθεί. Για παράδειγμα, στη σύγχρονη ρωσική μετά το σύμβολο "ъ" δεν μπορεί να ακολουθήσει το σύμφωνο ήχο συμβόλων. Μετά από δύο διαδοχικά φωνήεντα "e", το τρίτο φωνήεν "e" ακολουθεί εξαιρετικά σπάνια, εκτός και αν στη λέξη "μακρύς λαιμός". Δηλαδή, ο επόμενος χαρακτήρας είναι προκαθορισμένος σε κάποιο βαθμό. Εάν ληφθεί υπόψη μια τέτοια προκαθορισμένη τιμή του επόμενου συμβόλου, η αβεβαιότητα (δηλαδή, η πληροφορία) του επόμενου συμβόλου θα είναι ακόμη μικρότερη από 4.35. Σύμφωνα με ορισμένες εκτιμήσεις, το ακόλουθο σύμβολο στη ρωσική προκαθορίζεται από τη δομή της γλώσσας κατά περισσότερο από 50%, δηλαδή, με τη βέλτιστη κωδικοποίηση, όλες οι πληροφορίες μπορούν να μεταδοθούν διαγράφοντας τα μισά γράμματα από το μήνυμα.
Ένα άλλο πράγμα είναι ότι δεν μπορεί κάθε γράμμα να διαγραφεί με ασφάλεια. Η υψηλή συχνότητα "o" (και γενικά φωνηέντα), για παράδειγμα, είναι εύκολο να διαγραφεί, αλλά τα σπάνια "f" ή "e" είναι αρκετά προβληματικά.
Η φυσική γλώσσα στην οποία επικοινωνούμε μεταξύ μας είναι εξαιρετικά περιττή, και επομένως αξιόπιστη· εάν κάτι δεν ακούσαμε σωστά, δεν πειράζει, οι πληροφορίες θα εξακολουθήσουν να μεταδίδονται.
Αλλά μέχρι που ο Shannon εισήγαγε το μέτρο των πληροφοριών, δεν καταλάβαμε ότι η γλώσσα είναι περιττή και σε ποιο βαθμό μπορούμε να συμπιέσουμε τα μηνύματα (και γιατί αρχεία κειμένου συμπιέζονται τόσο πολύ από τον αρχειοθέτη).
Απολύσεις φυσικής γλώσσας
Στο άρθρο "Σχετικά με το πώς θα vorpsimanie tektkt"(το όνομα ακούγεται ακριβώς όπως αυτό!) ένα κομμάτι του μυθιστορήματος Noble Nest του Ιβάν Τουργκενέφ ελήφθη και υποβλήθηκε σε κάποια μετατροπή: το 34% των γραμμάτων διαγράφηκε από το κομμάτι, αλλά όχι τυχαία. Το πρώτο και τελευταίο γράμμα λέξεις έμειναν, μόνο τα φωνητικά διαγράφηκαν και όχι όλα. Ο στόχος δεν ήταν μόνο να έχει την ευκαιρία να ανακτήσει όλες τις πληροφορίες σχετικά με το κείμενο που μετατράπηκε, αλλά και να διασφαλίσει ότι το άτομο που διαβάζει αυτό το κείμενο δεν αντιμετώπισε ιδιαίτερες δυσκολίες εξαιτίας ελλείψεων επιστολών.
Γιατί είναι σχετικά εύκολο να το διαβάσετε αυτό κατεστραμμένοκείμενο? Στην πραγματικότητα περιέχει τις απαραίτητες πληροφορίες για την ανασύσταση ολόκληρων λέξεων. Ένας μητρικός ομιλητής των Ρωσικών έχει ένα συγκεκριμένο σύνολο γεγονότων (λέξεις και ολόκληρες προτάσεις) που χρησιμοποιεί ως αναγνώριση. Επιπλέον, ο ομιλητής έχει επίσης τυποποιημένες γλωσσικές δομές στη διάθεσή του που τον βοηθούν να ανακτήσει πληροφορίες. Για παράδειγμα,"Είναι blee blee"- με μεγάλη πιθανότητα μπορεί να διαβαστεί ως"Ήταν πιο ευαίσθητη.". Λαμβάνονται όμως χωριστά"Είναι πιο blah", μάλλον, θα αποκατασταθεί ως"Ήταν πιο λευκό". Αφού στην καθημερινή επικοινωνία ασχολούμαστεμε τα κανάλια στα οποία υπάρχει θόρυβος και παρεμβολές, είμαστε αρκετά καλοί στην επαναφορά πληροφοριών, αλλά μόνο εκείνων που ήδη γνωρίζουμε εκ των προτέρων. Για παράδειγμα, η φράση"Chrty δεν bli lshny priyatnsti, htya nmngo rsphli και splls"διαβάζει καλά εκτός από την τελευταία λέξη"Splash" - "συγκεντρώθηκαν". Αυτή η λέξη δεν υπάρχει στο σύγχρονο λεξικό. Όταν διαβάζετε μια λέξη γρήγορα"Splash"μοιάζει περισσότερο με «κολλημένοι μεταξύ τους»· όταν είναι αργός, απλώς μπερδεύεται.
Ψηφιοποίηση σημάτων
Οι ηχητικές ή ακουστικές ταλαντώσεις είναι ημιτονοειδείς. Αυτό μπορεί να παρατηρηθεί, για παράδειγμα, στην οθόνη επεξεργασίας ήχου. Για να μεταφέρετε με ακρίβεια τον ήχο, θα χρειαστείτε ένα άπειρο αριθμό αξιών - ολόκληρο το ημιτονοειδές κύμα. Αυτό είναι εφικτό με μια αναλογική σύνδεση. Τραγουδάει - ακούτε, η επαφή δεν διακόπτεται ενώ το τραγούδι διαρκεί.
Στην ψηφιακή επικοινωνία μέσω ενός καναλιού, μπορούμε να μεταδώσουμε μόνο έναν πεπερασμένο αριθμό τιμών. Αυτό σημαίνει ότι ο ήχος δεν μπορεί να αναπαραχθεί με ακρίβεια; Αποδεικνύεται ότι όχι.
Οι διαφορετικοί ήχοι είναι ένα διαφορετικά διαμορφωμένο ημιτονοειδές κύμα.Μεταδίδουμε μόνο διακριτές τιμές (συχνότητες και πλάτη) και το ίδιο το ημιτονοειδές κύμα δεν χρειάζεται να μεταδοθεί - η συσκευή λήψης μπορεί να την παράγει.Δημιουργεί ένα ημιτονοειδές και υπερτίθεται σε αυτόδιαμόρφωση που δημιουργείται από τιμές που μεταδίδονται μέσω ενός καναλιού επικοινωνίας. Υπάρχουν ακριβείς αρχές των οποίων οι διακριτές τιμές πρέπει να μεταδίδονται έτσι ώστε ο ήχος στην είσοδο του καναλιού επικοινωνίας να συμπίπτει με τον ήχο στην έξοδο, όπου αυτές οι τιμές υπερτίθενται σε κάποιο τυπικό ημιτονοειδές (αυτό είναι το θεώρημα του Kotelnikov σχετικά με).
Το θεώρημα του Kotelnikov (στην αγγλική γλώσσα - το θεώρημα Nyquist - Shannon, το θεώρημα ανάγνωσης)- μια θεμελιώδης δήλωση στον τομέα του ψηφιακούεπεξεργασία σήματος, συνδέοντας συνεχή και διακριτά σήματα και δηλώνοντας ότι «οποιαδήποτε συνάρτηση F(t), που αποτελείται από συχνότητες από 0 έως f1, μπορεί να μεταδοθεί συνεχώς με οποιαδήποτε ακρίβεια χρησιμοποιώντας αριθμούς που ακολουθούν ο ένας τον άλλον σε 1/(2*f1) δευτερόλεπτα
Κωδικοποίηση κατά των παρεμβολών. Κωδικοί Hamming
Εάν σε ένα αναξιόπιστο κανάλι για να μεταδώσειΤο κωδικοποιημένο κείμενο του Ivan Turgenev, αν και με ορισμένα λάθη, θα οδηγήσει σε ένα αρκετά σημαντικό κείμενο. Αλλά αν χρειαστεί να μεταφέρουμε τα πάντα μέχρι ένα κομμάτι, η εργασία θα είναι ανεπίλυτη: δεν γνωρίζουμε ποια κομμάτια είναι λάθος, επειδή το σφάλμα είναι τυχαίο. Ακόμα και το άθροισμα ελέγχου δεν εξοικονομείται πάντοτε.
Αυτός είναι ο λόγος για τον οποίο σήμερα κατά τη μετάδοση δεδομένωνδίκτυα δεν έχουν την τάση τόσο στη βέλτιστη κωδικοποίηση, στην οποία το κανάλι μπορεί να χώνω όσες περισσότερες πληροφορίες για τέτοια κωδικοποίηση (γνωστή περίσσεια) στο οποίο μπορείτε να επαναφέρετε τα λάθη - έτσι, για το πώς διαβάζετε εμείς τις λέξεις σε ένα κομμάτι ανακτηθεί από τον Ιβάν Τουργκένιεφ.
Υπάρχουν ειδικοί κώδικες διόρθωσης σφαλμάτων που σας επιτρέπουν να ανακτήσετε πληροφορίες μετά από αποτυχία. Ένας από αυτούς είναι ο κώδικας Hamming.Ας πούμε ότι ολόκληρη η γλώσσα μας αποτελείται από τρεις λέξεις:111000, 001110, 100011. Τόσο η πηγή του μηνύματος όσο και ο παραλήπτης γνωρίζουν αυτές τις λέξεις. Και γνωρίζουμε ότι συμβαίνουν σφάλματα σε ένα κανάλι επικοινωνίας, αλλά κατά τη μετάδοση μιας λέξης, δεν παραμορφώνεται περισσότερο από ένα bit πληροφοριών.
Ας υποθέσουμε ότι πρώτα περάσαμε τη λέξη 111000. Ως αποτέλεσμα, όχι περισσότερα από ένα λάθη (έχουμε εντοπίσει το σφάλμα) μπορεί να μετατραπεί σε μία από τις λέξεις:
1) 111000,011.000, 101000, 110000, 111100, 111010, 111001.
Κατά τη μετάδοση της λέξης 001110, μπορεί να ληφθεί οποιαδήποτε από τις λέξεις:
2) 001110,101110, 011110, 000110, 001010, 001100, 001111.
Τέλος, για 100011 μπορούμε να φτάσουμε στη ρεσεψιόν:
3) 100011,000011, 110011, 101011, 100111, 100001, 100010.
Να σημειωθεί ότι και οι τρεις λίστες ανά δύοδιασταυρώνονται. Με άλλα λόγια, αν στην άλλη άκρη του καναλιού επικοινωνίας εμφανιστεί οποιαδήποτε λέξη από τη λίστα 1, ο παραλήπτης γνωρίζει σίγουρα ότι η λέξη 111000 του μεταδόθηκε και αν εμφανιστεί οποιαδήποτε λέξη από τη λίστα 2, τη λέξη 001110 και τη λίστα 3, εμφανίζεται η λέξη 100011. Λένε ότι ο κώδικας μας έδωσε ένα λάθος.
Η διόρθωση έγινε λόγω δύο παραγόντων.Πρώτον, ο παραλήπτης γνωρίζει ολόκληρο το "λεξικό", δηλ. ο χώρος συμβάντος του παραλήπτη μηνύματος συμπίπτει με το χώρο εκείνου που μεταδίδει το μήνυμα. Όταν ο κώδικας μεταδόθηκε με ένα μόνο σφάλμα, βγήκε μια λέξη, η οποία δεν ήταν στο λεξικό.
Δεύτερον, οι λέξεις στο λεξικό επελέγησαν με ιδιαίτερο τρόπο.Ακόμα κι αν παρουσιαζόταν σφάλμα, ο παραλήπτης δεν μπορούσεμπερδεύει τη μια λέξη με την άλλη. Για παράδειγμα, εάν το λεξικό αποτελείται από τις λέξεις "κόρη", "κουκκίδα", "χτύπημα" και κατά τη μετάδοση το αποτέλεσμα ήταν "vochka", τότε ο παραλήπτης, γνωρίζοντας ότι δεν υπάρχει τέτοια λέξη, δεν θα μπορούσε να διορθώστε το λάθος - οποιαδήποτε από τις τρεις λέξεις μπορεί να αποδειχθεί σωστή. Αν το λεξικό περιλαμβάνει «dot», «daw», «branch» και γνωρίζουμε ότι δεν επιτρέπονται περισσότερα από ένα λάθη, τότε το «vochka» είναι σίγουρα «dot» και όχι «daw». Στους κωδικούς διόρθωσης σφαλμάτων, οι λέξεις επιλέγονται ακριβώς έτσι ώστε να είναι «αναγνωρίσιμες» ακόμη και μετά από ένα σφάλμα. Η μόνη διαφορά είναι ότι ο κωδικός "αλφάβητο" έχει μόνο δύο γράμματα - μηδέν και ένα.
Η πλεοναστικότητα μιας τέτοιας κωδικοποίησης είναι πολύ μεγάλη και ο αριθμός των λέξεων που μπορούμε να μεταφέρουμε είναι σχετικά μικρός.Πρέπει να εξαιρέσουμε οποιαδήποτε λέξη από το λεξικό,το οποίο, σε περίπτωση σφάλματος, μπορεί να συμπίπτει με ολόκληρη τη λίστα που αντιστοιχεί στις μεταδιδόμενες λέξεις (για παράδειγμα, οι λέξεις «κόρη» και «κουκκίδα» δεν μπορούν να υπάρχουν στο λεξικό). Αλλά η ακριβής μετάδοση μηνυμάτων είναι τόσο σημαντική που καταβάλλεται μεγάλη προσπάθεια για την έρευνα σε κωδικούς ανθεκτικούς σε σφάλματα.
Αίσθηση
Έννοιες της εντροπίας (ή αβεβαιότητας καιαπροβλεπτικότητα) του μηνύματος και του πλεονασμού (ή προκαθορισμού και προβλεψιμότητας) ανταποκρίνονται φυσικά στις διαισθητικές ιδέες μας σχετικά με το μέτρο της πληροφόρησης. Όσο πιο απρόβλεπτο είναι το μήνυμα (όσο μεγαλύτερη είναι η εντροπία του, επειδή υπάρχει λιγότερη πιθανότητα), τόσο περισσότερες πληροφορίες μεταφέρει. Μια αίσθηση (για παράδειγμα, μια συνάντηση με ένα κροκόδειλο στην Tverskaya) είναι ένα σπάνιο γεγονός, η προβλεψιμότητα του είναι πολύ χαμηλή και συνεπώς η τιμή πληροφόρησης είναι υψηλή. Συχνά οι πληροφορίες ονομάζονται ειδήσεις - αναφορές γεγονότων που μόλις συνέβησαν, για τα οποία δεν γνωρίζουμε ακόμα τίποτα. Αλλά αν μας μιλήσουν για τη δεύτερη και την τρίτη φορά για τις ίδιες λέξεις, η πλεοναστικότητα του μηνύματος θα είναι μεγάλη, η απρόβλεπτη του θα πέσει στο μηδέν και απλά δεν θα ακούσουμε, θα απομακρυνθούμε από τον ομιλητή με τις λέξεις "ξέρω, ξέρω". Ως εκ τούτου, τα μέσα προσπαθούν τόσο σκληρά να είναι τα πρώτα. Αυτή η αλληλογραφία με την διαισθητική αίσθηση της καινοτομίας, η οποία προκαλεί πραγματικά απροσδόκητα νέα, διαδραμάτισε σημαντικό ρόλο στο γεγονός ότι το άρθρο του Shannon, το οποίο δεν προοριζόταν για τον γενικό αναγνώστη, έγινε μια αίσθηση, την οποία ο Τύπος ανέλαβε ως παγκόσμιο κλειδί στη γνώση της φύσης. - από τους γλωσσολόγους και τους λογοτέχνες στους βιολόγους.
ΑλλάΗ έννοια της πληροφορίας Shannon - αυστηρή μαθηματική θεωρίακαι η εφαρμογή της εκτός της θεωρίας της επικοινωνίας είναι πολύ αναξιόπιστη. Αλλά στη θεωρία της ίδιας της επικοινωνίας, διαδραματίζει κεντρικό ρόλο.
Σημασιολογικές πληροφορίες
Shannon, εισάγοντας την έννοια της εντροπίας ως μέτροπληροφορίες, είχε την ευκαιρία να εργαστεί με πληροφορίες - πρώτα απ 'όλα, να τις μετρήσει και να αξιολογήσει χαρακτηριστικά όπως η χωρητικότητα καναλιού ή η βέλτιστη κωδικοποίηση. Αλλά η κύρια υπόθεση που επέτρεψε στον Shannon να λειτουργήσει με επιτυχία με πληροφορίες ήταν η υπόθεση ότι η παραγωγή πληροφοριών είναι μια τυχαία διαδικασία που μπορεί να περιγραφεί επιτυχώς με όρους της θεωρίας πιθανοτήτων.Εάν η διαδικασία είναι μη τυχαία, δηλαδή, υπακούει στους νόμους (επιπλέον, δεν είναι πάντα σαφής, όπως συμβαίνει στη φυσική γλώσσα), τότε η λογική του Shannon δεν μπορεί να εφαρμοστεί σε αυτήν.Τίποτα που λέει ο Shannon δεν έχει καμία σχέση με το νόημα των πληροφοριών.
Ενώ μιλάμε για χαρακτήρες (ή γράμματα του αλφαβήτου),μπορούμε να διαφωνήσουμε με τυχαία γεγονότα, αλλά μόλις φτάσουμε στα λόγια της γλώσσας, η κατάσταση θα αλλάξει δραματικά. Η ομιλία είναι μια διαδικασία που είναι ειδικά οργανωμένη και εδώ η δομή του μηνύματος δεν είναι λιγότερο σημαντική από τους χαρακτήρες με τους οποίους μεταδίδεται.
Μόλις πρόσφατα φαινόταν ότι δεν μπορούσαμε να κάνουμε τίποτα.Έγινε για να πλησιάσει τουλάχιστον κατά κάποιο τρόπο στη μέτρηση της σημασίας του κειμένου, αλλά τα τελευταία χρόνια η κατάσταση έχει αρχίσει να αλλάζει. Και αυτό οφείλεται κυρίως στην εφαρμογή τεχνητών νευρωνικών δικτύων στις εργασίες της μηχανικής μετάφρασης, της αυτόματης σύνοψης κειμένων, της εξαγωγής πληροφοριών από κείμενα και της δημιουργίας αναφορών σε φυσική γλώσσα. Όλες αυτές οι εργασίες περιλαμβάνουν μετασχηματισμό, κωδικοποίηση και αποκωδικοποίηση σημαντικών πληροφοριών που περιέχονται στη φυσική γλώσσα. Και σταδιακά σχηματίζεται μια ιδέα σχετικά με τις απώλειες πληροφοριών κατά τη διάρκεια τέτοιων μετασχηματισμών, και επομένως για την έκταση των ουσιαστικών πληροφοριών. Αλλά σήμερα, η σαφήνεια και η ακρίβεια που έχει η θεωρία πληροφοριών του Shannon δεν είναι ακόμη διαθέσιμη σε αυτά τα δύσκολα προβλήματα.