Teoria informacji: Różnice pomiędzy wersjami
m (Infobox update) |
m (cleanup bibliografii i rotten links) |
||
| (Nie pokazano 16 wersji utworzonych przez 3 użytkowników) | |||
| Linia 1: | Linia 1: | ||
'''Teoria informacji''' - [[dyscyplina]] zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Niekiedy rozumiana jako "teoria przekazywania wiadomości za pomocą sygnałów, opartej na teorii funkcji decyzyjnych".<ref>J. Nowakowski, W. Sobczak (1970) s. 9</ref> | |||
</ | |||
==TL;DR== | |||
Teoria informacji to dyscyplina zajmująca się przetwarzaniem informacji. Powstała w 1948 roku i jej ojcem jest Claude E. Shannon. Teoria informacji opisuje informację, systemy i entropię. Informacja to dowolna wiadomość, systemy przekazują informację za pomocą sygnałów, a entropia jest miarą nieokreśloności. Teoria informacji ma zastosowanie w przechowywaniu informacji, systemach sterowania i automatycznym sterowaniu. | |||
==Historia teorii informacji== | ==Historia teorii informacji== | ||
Teoria powstała w 1948 roku, a za jej ojca uznaje się matematyka i inżyniera - [[Claude E. Shannon]], który poruszył jej temat w swoim dziele ''A mathematical theory of communication'' opublikowanym w czasopiśmie Bell [[System]] Technica Journal, 27. | |||
W 1950 roku miała miejsce pierwsza międzynarodowa konferencje, która była poświęcona właśnie teorii informacji. Natomiast w 1953 został napisany na ten temat pierwszy egzemplarz czasopisma<ref>H. Górecki (2006) s. 5</ref> | |||
W 1950 roku miała miejsce pierwsza międzynarodowa konferencje, która była poświęcona właśnie teorii informacji. Natomiast w 1953 został napisany na ten temat pierwszy egzemplarz czasopisma | |||
==Charakterystyka teorii informacji== | ==Charakterystyka teorii informacji== | ||
[[Informacja]] to możliwe, że najistotniejszy składnik każdego systemu. Dzięki informacji można określić stopień zorganizowania masy oraz energii w systemie. Szczególne znaczenie informacja ma w systemach cybernetycznych. W tej teorii najeży rozumieć trzy pojęcia ''informacja'', ''system'' oraz ''entropia''. <ref>S. Mynarski (1989) s. 146</ref> | |||
''Informacja'' to "dowolna wiadomość, na podstawie której [[odbiorca]] wiadomości opiera swoje [[działanie]]"<ref>J. Nowakowski, W. Sobczyk (1970) s. 13</ref> | |||
'' | ''Sygnał'' - "określa wielkość fizyczną, która przenosi informację o stanie układu (obiektu), bez względu na jego postać lub też przenosi wszystko to, co można wykorzystać do bardziej sprawnego określenia działań zapewniających realizację danego celu. "Dzięki przesyłaniu i przetwarzaniu różnorodnego sygnałów" możliwy jest obieg informacji. "Sygnały można podzielić na": | ||
* ''sygnały stochastyczne (losowe)'' - przekazywaną informację można przewidzieć tylko z określonym prawdopodobieństwem, | |||
* ''sygnały deterministyczne'' - sygnał o przyszłości znanej<ref>Z. Łukasik (2004) s. 8-9</ref> | |||
<google>n</google> | |||
''Entropia'' to miara nieokreśloności. Została zapożyczana z fizyki na potrzeby cybernetyki. W teorii systemów jest miarą uporządkowania - im mniejsza tym system jest bardziej uporządkowany, a wraz ze wzrostem spada jego uporządkowanie (poziom najwyższy oznacza że mamy do czynienia z chaosem). Zerową entropia oznacza się system doskonale uporządkowany. W takim systemie można przewidzieć zdarzenia z prawdopodobieństwem równym jedności. W momencie w którym oczekiwane zdarzenie ma miejsce, zmniejsza się poziom niewiedzy i niesie to pewną informację. Informacja wypiera tutaj pewien poziom entropii. Dzięki temu można uznać entropię za miarę informacji | ''Entropia'' to miara nieokreśloności. Została zapożyczana z fizyki na [[potrzeby]] cybernetyki. W teorii systemów jest miarą uporządkowania - im mniejsza tym system jest bardziej uporządkowany, a wraz ze wzrostem spada jego uporządkowanie (poziom najwyższy oznacza że mamy do czynienia z chaosem). Zerową entropia oznacza się system doskonale uporządkowany. W takim systemie można przewidzieć zdarzenia z prawdopodobieństwem równym jedności. W momencie w którym oczekiwane [[zdarzenie]] ma miejsce, zmniejsza się poziom niewiedzy i niesie to pewną informację. Informacja wypiera tutaj pewien poziom entropii. Dzięki temu można uznać entropię za miarę informacji<ref>S. Mynarski (1989) s. 147</ref> | ||
Wartość entropii przedstawia się następującym wzorem: | [[Wartość]] entropii przedstawia się następującym wzorem: | ||
<math>H (p)= - \sum_{i=1}^n p_i log p_i</math> | <math>H (p)= - \sum_{i=1}^n p_i log p_i</math> | ||
| Linia 43: | Linia 28: | ||
gdzie | gdzie | ||
''H (p)'' - nieokreśloność zajścia zdarzenia, a | ''H (p)'' - nieokreśloność zajścia zdarzenia, a | ||
''p'' - prawdopodobieństwo zajścia niezależnego zdarzenia | ''p'' - [[prawdopodobieństwo]] zajścia niezależnego zdarzenia<ref>S. Mynarski (1989) s. 149</ref> | ||
Każdy system ma określoną strukturę. Informację, która związana jest bezpośrednio ze strukturą systemu nazywamy ''informacją strukturalną''. Ponadto w teorii informacji wyróżnia się ''informację względną'', która związana jest z komunikacją systemów. | Każdy system ma określoną strukturę. Informację, która związana jest bezpośrednio ze strukturą systemu nazywamy ''informacją strukturalną''. Ponadto w teorii informacji wyróżnia się ''informację względną'', która związana jest z komunikacją systemów. | ||
Należy również widzieć różnicę między pojęciami: ''wiadomość'' i ''informacja''. Wiadomość to pojęcie pierwotne, oznaczające ciąg sygnałów o znaczeniu przedmiotowym lub symbolicznym, a charakterze obiektywnym. Natomiast informacja to kategoria wtórna w porównaniu do wiadomości o charakterze subiektywnym. Ilość informacji, jaką niesie wiadomość zależy od stopnia wiedzy odbiorcy. Jeżeli rzeczy w niej zawarte są znane odbiorcy to taka informacja nie zmniejsza jego entropii, czyli stopnia niewiedzy. Natomiast w momencie w którym informacja zawiera treści nieznane odbiorcy, można stwierdzić, że jego poziom niewiedzy został zmniejszony. | Należy również widzieć różnicę między pojęciami: ''wiadomość'' i ''informacja''. Wiadomość to pojęcie pierwotne, oznaczające ciąg sygnałów o znaczeniu przedmiotowym lub symbolicznym, a charakterze obiektywnym. Natomiast informacja to [[kategoria]] wtórna w porównaniu do wiadomości o charakterze subiektywnym. Ilość informacji, jaką niesie wiadomość zależy od stopnia wiedzy odbiorcy. Jeżeli rzeczy w niej zawarte są znane odbiorcy to taka informacja nie zmniejsza jego entropii, czyli stopnia niewiedzy. Natomiast w momencie w którym informacja zawiera treści nieznane odbiorcy, można stwierdzić, że jego poziom niewiedzy został zmniejszony. | ||
Informacja może być rozpatrywana w trzech aspektach: | Informacja może być rozpatrywana w trzech aspektach: | ||
* ilościowym - oznacza ilość sygnałów i symboli, które są niezbędne do jej przekazania, | * ilościowym - oznacza ilość sygnałów i symboli, które są niezbędne do jej przekazania, | ||
* znaczeniowym - związany jest z interpretacją treści i komunikowaniem się nadawcy z odbiorcą, | * znaczeniowym - związany jest z interpretacją treści i komunikowaniem się nadawcy z odbiorcą, | ||
* wartościowym - ma na celu pokazanie użyteczności przekazanej informacji | * wartościowym - ma na celu pokazanie użyteczności przekazanej informacji<ref>S. Mynarski (1989) s. 151-152</ref> | ||
==Znaczenie teorii informacji== | ==Znaczenie teorii informacji== | ||
C. F. Shannon formułując teorię informacji stworzył również matematyczne podstawy teorii kodowania. Ponadto teroria informacji wykorzystywana jest w: | C. F. Shannon formułując teorię informacji stworzył również matematyczne podstawy teorii kodowania. Ponadto teroria informacji wykorzystywana jest w: | ||
* sferze przechowywania informacji, | * sferze przechowywania informacji, | ||
* realizacji rożnego typu systemów sterowania, | * realizacji rożnego typu systemów sterowania, | ||
* projektowaniu i budowie systemów automatycznego sterowania | * projektowaniu i budowie systemów automatycznego sterowania<ref>Z. Łukasik (2004) s. 65-68</ref> | ||
== | {{infobox5|list1={{i5link|a=[[Pascal (język programowania)]]}} — {{i5link|a=[[Parametr]]}} — {{i5link|a=[[Algorytmy szyfrowania]]}} — {{i5link|a=[[Przyrząd pomiarowy]]}} — {{i5link|a=[[Estymator dostateczny]]}} — {{i5link|a=[[Fuzzy logic]]}} — {{i5link|a=[[Pomiar]]}} — {{i5link|a=[[Oscylator]]}} — {{i5link|a=[[SQL]]}} }} | ||
==Przypisy== | ==Przypisy== | ||
<references /> | <references /> | ||
==Bibliografia== | |||
<noautolinks> | |||
* Górecki H. (2006), ''Teoria informacji'', Wyższa Szkoła Informatyki w Łodzi, Łódź | |||
* Grabowski M., Zając A. (2009), ''Dane, informacja, wiedza - próba definicji'', Zeszyty Naukowe Uniwersytetu Ekonomicznego w Krakowie, nr 798 | |||
* Łukasik Z. (2004), ''Teoria informacji i sygnałów'', Wydawnictwo Politechnika Radomska, Radom | |||
* Mynarski S. (red.) (1989), ''Elementy teorii systemów i informacji'', Akademia Ekonomiczna w Krakowie, Kraków | |||
* Nowakowski J., Sobczak W. (1970), ''Teoria informacji'', Wydawnictwo Naukowo-Techniczne, Warszawa | |||
* Olender-Skorka M. (2007), ''[https://yadda.icm.edu.pl/yadda/element/bwmeta1.element.baztech-article-BAT8-0008-0023/c/httpwww_itl_waw_plczasopismatiti20071-272.pdf Wartość informacji]'', Telekomunikacja i techniki informacyjne, nr 1-2 | |||
* Shannon C. (1948), ''The Mathematical Theory of Communication'', The Bell System Technical Journal, Vol. 27 | |||
* Wieczerzycki M. (2015), ''Produkt cyfrowy w świetle jakości teorii informacji i koncepcji hylemorfizmu'', Gospodarka Narodowa, nr 1 | |||
</noautolinks> | |||
{{a|Klaudia Niziołek}} | {{a|Klaudia Niziołek}} | ||
[[Kategoria: | [[Kategoria:Systemy informacyjne]] | ||
{{#metamaster:description|Teoria informacji bada przetwarzanie informacji, np. transmisję i kompresję. Jest to teoria przekazywania wiadomości za pomocą sygnałów.}} | |||
Aktualna wersja na dzień 00:14, 5 sty 2024
Teoria informacji - dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Niekiedy rozumiana jako "teoria przekazywania wiadomości za pomocą sygnałów, opartej na teorii funkcji decyzyjnych".[1]
TL;DR
Teoria informacji to dyscyplina zajmująca się przetwarzaniem informacji. Powstała w 1948 roku i jej ojcem jest Claude E. Shannon. Teoria informacji opisuje informację, systemy i entropię. Informacja to dowolna wiadomość, systemy przekazują informację za pomocą sygnałów, a entropia jest miarą nieokreśloności. Teoria informacji ma zastosowanie w przechowywaniu informacji, systemach sterowania i automatycznym sterowaniu.
Historia teorii informacji
Teoria powstała w 1948 roku, a za jej ojca uznaje się matematyka i inżyniera - Claude E. Shannon, który poruszył jej temat w swoim dziele A mathematical theory of communication opublikowanym w czasopiśmie Bell System Technica Journal, 27.
W 1950 roku miała miejsce pierwsza międzynarodowa konferencje, która była poświęcona właśnie teorii informacji. Natomiast w 1953 został napisany na ten temat pierwszy egzemplarz czasopisma[2]
Charakterystyka teorii informacji
Informacja to możliwe, że najistotniejszy składnik każdego systemu. Dzięki informacji można określić stopień zorganizowania masy oraz energii w systemie. Szczególne znaczenie informacja ma w systemach cybernetycznych. W tej teorii najeży rozumieć trzy pojęcia informacja, system oraz entropia. [3]
Informacja to "dowolna wiadomość, na podstawie której odbiorca wiadomości opiera swoje działanie"[4]
Sygnał - "określa wielkość fizyczną, która przenosi informację o stanie układu (obiektu), bez względu na jego postać lub też przenosi wszystko to, co można wykorzystać do bardziej sprawnego określenia działań zapewniających realizację danego celu. "Dzięki przesyłaniu i przetwarzaniu różnorodnego sygnałów" możliwy jest obieg informacji. "Sygnały można podzielić na":
- sygnały stochastyczne (losowe) - przekazywaną informację można przewidzieć tylko z określonym prawdopodobieństwem,
- sygnały deterministyczne - sygnał o przyszłości znanej[5]
Entropia to miara nieokreśloności. Została zapożyczana z fizyki na potrzeby cybernetyki. W teorii systemów jest miarą uporządkowania - im mniejsza tym system jest bardziej uporządkowany, a wraz ze wzrostem spada jego uporządkowanie (poziom najwyższy oznacza że mamy do czynienia z chaosem). Zerową entropia oznacza się system doskonale uporządkowany. W takim systemie można przewidzieć zdarzenia z prawdopodobieństwem równym jedności. W momencie w którym oczekiwane zdarzenie ma miejsce, zmniejsza się poziom niewiedzy i niesie to pewną informację. Informacja wypiera tutaj pewien poziom entropii. Dzięki temu można uznać entropię za miarę informacji[6]
Wartość entropii przedstawia się następującym wzorem:
gdzie H (p) - nieokreśloność zajścia zdarzenia, a p - prawdopodobieństwo zajścia niezależnego zdarzenia[7]
Każdy system ma określoną strukturę. Informację, która związana jest bezpośrednio ze strukturą systemu nazywamy informacją strukturalną. Ponadto w teorii informacji wyróżnia się informację względną, która związana jest z komunikacją systemów.
Należy również widzieć różnicę między pojęciami: wiadomość i informacja. Wiadomość to pojęcie pierwotne, oznaczające ciąg sygnałów o znaczeniu przedmiotowym lub symbolicznym, a charakterze obiektywnym. Natomiast informacja to kategoria wtórna w porównaniu do wiadomości o charakterze subiektywnym. Ilość informacji, jaką niesie wiadomość zależy od stopnia wiedzy odbiorcy. Jeżeli rzeczy w niej zawarte są znane odbiorcy to taka informacja nie zmniejsza jego entropii, czyli stopnia niewiedzy. Natomiast w momencie w którym informacja zawiera treści nieznane odbiorcy, można stwierdzić, że jego poziom niewiedzy został zmniejszony.
Informacja może być rozpatrywana w trzech aspektach:
- ilościowym - oznacza ilość sygnałów i symboli, które są niezbędne do jej przekazania,
- znaczeniowym - związany jest z interpretacją treści i komunikowaniem się nadawcy z odbiorcą,
- wartościowym - ma na celu pokazanie użyteczności przekazanej informacji[8]
Znaczenie teorii informacji
C. F. Shannon formułując teorię informacji stworzył również matematyczne podstawy teorii kodowania. Ponadto teroria informacji wykorzystywana jest w:
- sferze przechowywania informacji,
- realizacji rożnego typu systemów sterowania,
- projektowaniu i budowie systemów automatycznego sterowania[9]
| Teoria informacji — artykuły polecane |
| Pascal (język programowania) — Parametr — Algorytmy szyfrowania — Przyrząd pomiarowy — Estymator dostateczny — Fuzzy logic — Pomiar — Oscylator — SQL |
Przypisy
Bibliografia
- Górecki H. (2006), Teoria informacji, Wyższa Szkoła Informatyki w Łodzi, Łódź
- Grabowski M., Zając A. (2009), Dane, informacja, wiedza - próba definicji, Zeszyty Naukowe Uniwersytetu Ekonomicznego w Krakowie, nr 798
- Łukasik Z. (2004), Teoria informacji i sygnałów, Wydawnictwo Politechnika Radomska, Radom
- Mynarski S. (red.) (1989), Elementy teorii systemów i informacji, Akademia Ekonomiczna w Krakowie, Kraków
- Nowakowski J., Sobczak W. (1970), Teoria informacji, Wydawnictwo Naukowo-Techniczne, Warszawa
- Olender-Skorka M. (2007), Wartość informacji, Telekomunikacja i techniki informacyjne, nr 1-2
- Shannon C. (1948), The Mathematical Theory of Communication, The Bell System Technical Journal, Vol. 27
- Wieczerzycki M. (2015), Produkt cyfrowy w świetle jakości teorii informacji i koncepcji hylemorfizmu, Gospodarka Narodowa, nr 1
Autor: Klaudia Niziołek
