Η "θεωρία της πληροφορίας" ήταν πνευματικό παιδί του Claude Shannon, καρπός των μελετών του γύρω από τα γενικά επικοινωνιακά συστήματα. Όπως τη συνέλαβε ο Shannon, η πληροφορία είναι ένα μέγεθος που χαρακτηρίζει ένα σήμα (ή, γενικότερα ένα σύστημα) και αντικατοπτρίζει την ποσότητα των διακριτών καταστάσεων, στις οποίες μπορεί να βρεθεί το σήμα (ή το σύστημα) αυτό. Επικοινωνία επιτυγχάνεται όταν η πληροφορία μπορεί να μεταδοθεί από έναν πομπό μέσω ενός καναλιού προς ένα δέκτη, και να γίνει αντιληπτή από εκείνον. Στην πραγματικότητα αυτό το οποίο εκπέμπεται από τον πομπό, μεταβιβάζεται μέσω του καναλιού και αναδημιουργείται από τον δέκτη δεν είναι παρά μια αλληλουχία διακριτών καταστάσεων. Το "επικοινωνιακό κύκλωμα" (πομπός, κανάλι, δέκτης) έχει μια συγκεκριμένη πληροφοριακή χωρητικότητα, μπορεί δηλαδή να περιέλθει σε μία από ένα πεπερασμένο σύνολο πιθανών διακριτών καταστάσεων. Ο πομπός πρέπει να μπορεί να θέσει το σύστημα σε κάποια από αυτές τις καταστάσεις, το κανάλι να την αναμεταδώσει προς το δέκτη και ο δέκτης να τη διακρίνει από όλες τις πιθανές καταστάσεις.
Τα προβλήματα αρχίζουν όταν στο επικοινωνιακό κύκλωμα παρεισφρέει θόρυβος. Ο θόρυβος επηρεάζει την επικοινωνία γιατί, όντας τυχαίος και απρόβλεπτος, ουσιαστικά "θολώνει" τα όρια μεταξύ των καταστάσεων στις οποίες περιέρχεται το σύστημα, τα όρια αυτά γίνονται τόσο πιο δυσδιάκριτα όσο μεγαλύτερος είναι ο θόρυβος. Ο πομπός θα κάνει ό,τι καλύτερο μπορεί για να προσδιορίσει την κατάσταση που πρέπει να έχει το κανάλι ανά χρονική στιγμή, αλλά ο δέκτης θα μπερδευτεί και δεν θα ξέρει τι ακριβώς έχει λάβει.
Το τι ακριβώς θεωρείται θόρυβος εξαρτάται από το πώς είναι υλοποιημένο το επικοινωνιακό σύστημα. Δεν είναι δύσκολο να δει κανείς, όμως, ο,τι γενικώς η πληροφορική χωρητικότητα ενός συστήματος είναι μεγαλύτερη όσο πιο "τακτικό" είναι το σύστημα αυτό, και αντιστοίχως ο,τι όσο αυξάνεται η αταξία του συστήματος τόσο μειώνεται η πληροφορία του. Με άλλα λόγια, θα μπορούσαμε να πούμε ότι η πληροφορία του συστήματος αποτελεί μέτρο της εσωτερικής του τάξης.
Αυτό αποδεικνύεται και μαθηματικώς: η πληροφοριακή χωρητικότητα ενός συστήματος είναι αντίστροφο μέγεθος της ποσότητας εντροπίας του ίδιου συστήματος. Η εντροπία αντιστοιχεί με το θόρυβο.
Διαβάστε περισσότερα : http://gym-falan.lar.sch.gr/articles/arcl-0015.html
