Claude Shannon: geniusz-żongler, który wymyślił bit i cyfrowy świat

Kto wymyślił słowo 'bit'?

Słowo bit – od binary digit – to dziś jeden z najbardziej rozpoznawalnych terminów w technologii. Mamy kilobity, megabity, gigabity na sekundę. Ale skąd pochodzi ten termin i kto jako pierwszy pokazał, że ma on precyzyjne matematyczne znaczenie?

Termin bit spopularyzował Claude Elwood Shannon w przełomowym artykule z 1948 roku. Choć samo słowo ukuł jego kolega z Bell Labs, John Tukey, to Shannon nadał mu ścisłą definicję matematyczną i pokazał, że informacja – niezależnie od tego, czy jest to tekst, obraz, dźwięk czy wideo – może być mierzona w bitach. To pozornie proste odkrycie miało konsekwencje, których nie dało się wtedy w pełni przewidzieć.

Bez pojęcia bitu i matematyki Shannona nie istniałyby dzisiejsze dyski twarde, internet, kompresja plików ani nowoczesna kryptografia. Wszystko, co przechowujemy i przesyłamy cyfrowo, opiera się na jego pracy sprzed prawie osiemdziesięciu lat.

Matematyk, który przebrał się za inżyniera

Claude Shannon urodził się w 1916 roku w Petoskey w stanie Michigan. Od dziecka fascynowała go mechanika – jako nastolatek budował telegraf z drutu kolczastego rozciągniętego między własnym domem a domem przyjaciela. Studia w University of Michigan, a potem doktorat z matematyki na MIT ukształtowały jego unikalny styl myślenia: łączył abstrakcję matematyczną z praktycznym zmysłem inżynierskim.

W 1941 roku trafił do legendarnych Laboratoriów Bella (Bell Labs) – tego samego miejsca, gdzie kilka lat później wynaleziono tranzystor. Podczas drugiej wojny światowej Shannon pracował nad kryptografią wojskową, w tym nad systemem szyfrowania rozmów między Rooseveltem a Churchillem. Te doświadczenia głęboko ukształtowały jego późniejsze myślenie o bezpiecznym przesyłaniu informacji.

Poza pracą Shannon słynął z ekscentryczności. Jeździł po korytarzach Bell Labs na jednoróżcu, żonglował piłkami i kijami, a w wolnych chwilach konstruował mechaniczne zabawki i gry. Współpracownicy wspominali go jako człowieka, który potrafił myśleć i żonglować jednocześnie – co trafnie oddawało jego zdolność do pracy nad wieloma problemami naraz.

Artykuł, który zmienił bieg historii

W lipcu i październiku 1948 roku w Bell System Technical Journal ukazał się tekst zatytułowany A Mathematical Theory of Communication. Liczący kilkadziesiąt stron artykuł wyglądał jak typowa praca akademicka, lecz zawierał idee, które całkowicie zmieniły sposób myślenia o komunikacji i informacji.

Shannon sformułował w nim kilka kluczowych pojęć:

• Entropia informacji – miara niepewności lub niespodzianki w komunikacie. Im mniej przewidywalny komunikat, tym więcej informacji zawiera i tym więcej bitów potrzeba do jego zapisania.
• Pojemność kanału – maksymalna ilość informacji, jaką można niezawodnie przesłać przez zakłócony kanał komunikacyjny w jednostce czasu.
• Twierdzenie Shannona – rewolucyjny wynik mówiący, że nawet przez głośny (zakłócony) kanał można przesyłać informacje bez błędów, o ile tempo transmisji nie przekracza pojemności kanału.

Ten ostatni wynik był szczególnie przełomowy. Wcześniej powszechnie sądzono, że zakłócenia są nieuchronną ceną transmisji. Shannon matematycznie udowodnił, że błędy można wyeliminować – co stało się impulsem do stworzenia całej dziedziny kodów korekcji błędów, bez których nie działałyby ani płyty CD, ani dyski RAID, ani komunikacja satelitarna.

Myślące myszy i początki sztucznej inteligencji

Shannon nie ograniczał się do teorii na papierze. W 1950 roku zbudował Tezeusza – mechaniczną mysz sterowaną układem przekaźnikowym, która uczyła się przechodzić przez labirynt. Po kilku próbach mysz zapamiętywała drogę i pokonywała labirynt bezbłędnie. Dziś powiedzielibyśmy, że to wczesny przykład uczenia maszynowego.

Shannon zaprezentował Tezeusza w 1952 roku w telewizji i wywołał sensację. Przed erą komputerów cyfrowych pokazał, że maszyna może uczyć się na własnych błędach – idea, która dziś napędza wszystkie modele sztucznej inteligencji, od sieci neuronowych po duże modele językowe.

W tym samym okresie opublikował artykuł o programowaniu gry w szachy przez komputer oraz pracę Communication Theory of Secrecy Systems (1949), w której po raz pierwszy matematycznie dowiódł, że szyfr jednorazowy (one-time pad) jest absolutnie bezpieczny – i jednocześnie wskazał, dlaczego inne szyfry mają słabe punkty. Shannon był zatem jednym z ojców teorii informacji, kryptografii matematycznej i sztucznej inteligencji – trzech dziedzin, które dziś definiują całe IT.

Jak teoria Shannona żyje w każdym bajcie

Trudno wskazać obszar współczesnego IT, którego Shannon nie dotknął. Oto kilka przykładów z codziennego życia firm:

• Kompresja danych: formaty ZIP, MP3 i JPEG działają na zasadzie entropii Shannona – usuwają nadmiarowość informacji aż do minimum wyznaczonego jego wzorami. Każdy skompresowany plik to aplikacja jego teorii.
• Kody korekcji błędów: macierze RAID, kody QR, pamięć flash i komunikacja satelitarna używają matematyki wynikającej z twierdzeń Shannona. Dzięki niej dane przeżywają uszkodzenia nośnika lub zakłócenia sygnału.
• Kryptografia: współczesne algorytmy szyfrowania (AES, RSA) opierają się na pojęciach entropii i teorii informacji, które Shannon sformułował jako pierwszy.
• Sieci bezprzewodowe: standardy 4G i 5G operują pojęciem pojemności Shannona. Inżynierowie od dekad walczą o to, by przybliżyć się do teoretycznego limitu, który Shannon wyznaczył w 1948 roku.
• Uczenie maszynowe: entropia krzyżowa, powszechnie stosowana jako funkcja straty w sieciach neuronowych, pochodzi wprost z teorii informacji.

Kiedy wysyłasz e-mail, streamujesz film, logujesz się do firmowego VPN lub korzystasz z kopii zapasowej w chmurze, korzystasz z matematyki opracowanej przez Shannona – nawet jeśli nigdy nie słyszałeś jego nazwiska.

Zapomniany ojciec ery cyfrowej

Claude Shannon pod koniec życia zachorował na chorobę Alzheimera i stopniowo wycofał się z życia publicznego. Zmarł 24 lutego 2001 roku – gdy internet szerokopasmowy zaczynał właśnie wypierać modemy telefoniczne. Paradoksalnie, parametry tych nowych łączy opisywały jego wzory sprzed pół wieku.

Shannon był człowiekiem niezwykle skromnym. Nigdy nie zabiegał o sławę ani rozgłos. Gdy pod koniec lat 80. zaproszono go na konferencję teorii informacji, pojawił się wyraźnie zaskoczony, że sala jest pełna. Zamiast wygłosić wykład, zaczął żonglować kijami na scenie ku radości zebranych naukowców.

Dziś jego nazwisko nosi najważniejsza nagroda w tej dziedzinie – Nagroda Claude E. Shannona, przyznawana przez IEEE Information Theory Society. Informację mierzy się w bitach lub natach – i w każdym z nich jest odrobina jego matematyki.

Alan Turing złamał Enigmę i wymyślił maszynę obliczeniową. Dennis Ritchie stworzył C i UNIX. Claude Shannon wymyślił sam język, którym mówią wszystkie te maszyny. I choć jest mniej znany niż Gates czy Jobs, bez jego pracy żaden z nich nie miałby na czym budować swojego imperium.