Teoria informacji

Teoria informacji - dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Niekiedy rozumiana jako "teoria przekazywania wiadomości za pomocą sygnałów, opartej na teorii funkcji decyzyjnych".

TL;DR

Teoria informacji to dyscyplina zajmująca się przetwarzaniem informacji. Powstała w 1948 roku i jej ojcem jest Claude E. Shannon. Teoria informacji opisuje informację, systemy i entropię. Informacja to dowolna wiadomość, systemy przekazują informację za pomocą sygnałów, a entropia jest miarą nieokreśloności. Teoria informacji ma zastosowanie w przechowywaniu informacji, systemach sterowania i automatycznym sterowaniu.

Historia teorii informacji

Teoria powstała w 1948 roku, a za jej ojca uznaje się matematyka i inżyniera - Claude E. Shannon, który poruszył jej temat w swoim dziele A mathematical theory of communication opublikowanym w czasopiśmie Bell System Technica Journal, 27.

W 1950 roku miała miejsce pierwsza międzynarodowa konferencje, która była poświęcona właśnie teorii informacji. Natomiast w 1953 został napisany na ten temat pierwszy egzemplarz czasopisma

Charakterystyka teorii informacji

Informacja to możliwe, że najistotniejszy składnik każdego systemu. Dzięki informacji można określić stopień zorganizowania masy oraz energii w systemie. Szczególne znaczenie informacja ma w systemach cybernetycznych. W tej teorii najeży rozumieć trzy pojęcia informacja, system oraz entropia.

Informacja to "dowolna wiadomość, na podstawie której odbiorca wiadomości opiera swoje działanie"

Sygnał - "określa wielkość fizyczną, która przenosi informację o stanie układu (obiektu), bez względu na jego postać lub też przenosi wszystko to, co można wykorzystać do bardziej sprawnego określenia działań zapewniających realizację danego celu. "Dzięki przesyłaniu i przetwarzaniu różnorodnego sygnałów" możliwy jest obieg informacji. "Sygnały można podzielić na":

• sygnały stochastyczne (losowe) - przekazywaną informację można przewidzieć tylko z określonym prawdopodobieństwem,
• sygnały deterministyczne - sygnał o przyszłości znanej

Entropia to miara nieokreśloności. Została zapożyczana z fizyki na potrzeby cybernetyki. W teorii systemów jest miarą uporządkowania - im mniejsza tym system jest bardziej uporządkowany, a wraz ze wzrostem spada jego uporządkowanie (poziom najwyższy oznacza że mamy do czynienia z chaosem). Zerową entropia oznacza się system doskonale uporządkowany. W takim systemie można przewidzieć zdarzenia z prawdopodobieństwem równym jedności. W momencie w którym oczekiwane zdarzenie ma miejsce, zmniejsza się poziom niewiedzy i niesie to pewną informację. Informacja wypiera tutaj pewien poziom entropii. Dzięki temu można uznać entropię za miarę informacji

Wartość entropii przedstawia się następującym wzorem:

$H(p)=-\sum _{i=1}^{n}p_{i}logp_{i}$

gdzie H (p) - nieokreśloność zajścia zdarzenia, a p - prawdopodobieństwo zajścia niezależnego zdarzenia

Każdy system ma określoną strukturę. Informację, która związana jest bezpośrednio ze strukturą systemu nazywamy informacją strukturalną. Ponadto w teorii informacji wyróżnia się informację względną, która związana jest z komunikacją systemów.

Należy również widzieć różnicę między pojęciami: wiadomość i informacja. Wiadomość to pojęcie pierwotne, oznaczające ciąg sygnałów o znaczeniu przedmiotowym lub symbolicznym, a charakterze obiektywnym. Natomiast informacja to kategoria wtórna w porównaniu do wiadomości o charakterze subiektywnym. Ilość informacji, jaką niesie wiadomość zależy od stopnia wiedzy odbiorcy. Jeżeli rzeczy w niej zawarte są znane odbiorcy to taka informacja nie zmniejsza jego entropii, czyli stopnia niewiedzy. Natomiast w momencie w którym informacja zawiera treści nieznane odbiorcy, można stwierdzić, że jego poziom niewiedzy został zmniejszony.

Informacja może być rozpatrywana w trzech aspektach:

• ilościowym - oznacza ilość sygnałów i symboli, które są niezbędne do jej przekazania,
• znaczeniowym - związany jest z interpretacją treści i komunikowaniem się nadawcy z odbiorcą,
• wartościowym - ma na celu pokazanie użyteczności przekazanej informacji

Znaczenie teorii informacji

C. F. Shannon formułując teorię informacji stworzył również matematyczne podstawy teorii kodowania. Ponadto teroria informacji wykorzystywana jest w:

• sferze przechowywania informacji,
• realizacji rożnego typu systemów sterowania,
• projektowaniu i budowie systemów automatycznego sterowania

Teoria informacji — artykuły polecane

Pascal (język programowania) — Parametr — Algorytmy szyfrowania — Przyrząd pomiarowy — Estymator dostateczny — Fuzzy logic — Pomiar — Oscylator — SQL

Bibliografia

• Górecki H. (2006), Teoria informacji, Wyższa Szkoła Informatyki w Łodzi, Łódź
• Grabowski M., Zając A. Dane, informacja, wiedza - próba definicji, Katedra Informatyki Akademii Ekonomicznej w Krakowie
• Łukasik Z. Teoria informacji i sygnałów Wydawnictwo Politechnika Radomska, Radom 2004
• Mynarski S. (red.) (1989), Elementy teorii systemów i informacji, Akademia Ekonomiczna w Krakowie, Kraków
• Nowakowski J., Sobczak W. (1970), Teoria informacji, Wydawnictwo Naukowo-Techniczne, Warszawa
• Olender-Skorka M. (2007), Wartość informacji, Telekomunikacja i techniki informacyjne, nr 1-2
• Shannon C. (1948), The Mathematical Theory of Communication, The Bell System Technical Journal, Vol. 27
• Wieczerzycki M. (2015), Produkt cyfrowy w świetle jakości teorii informacji i koncepcji hylemorfizmu, Gospodarka Narodowa, nr 1

Autor: Klaudia Niziołek