A bizonytalanság az összeg a tudás és információ - studopediya

Értelmes megközelítés mérésére információ tolta a meghatározása információt, mint a tartalom által kapott üzenet az ember. A lényege az érdemi megközelítés a következő: egy üzenetet, hogy tájékoztassa néhány esemény, megszünteti a bizonytalanságot az emberi tudás az esemény.

Minél nagyobb a kezdeti bizonytalanságot a tudás, annál több információt hordoz üzenetet, eltávolítja ezt a kétértelműséget.

Néhány példa, hogy bemutassa ezt az állítást.

A helyzet 1. osztályban van rendelve egy új tanár; arra a kérdésre: „Ez egy férfi vagy egy nő”, akkor azt mondta: „Az ember.”

A helyzet 2. A nemzeti bajnokság labdarúgó csapat játszott a Dinamo és a Zenit. A sport híreket a rádióban, akkor megtudjuk, hogy a játék nyerte Zenit.

3. eset: A választás a polgármester négy jelöltet. Miután a táblázatba eredmények, akkor megtanulta, hogy a választott Nyikityin NN

Kérdés: melyik a három helyzetek kapott üzenet hordoz több információt?

Bizonytalanság tudás - a számos lehetséges választ arra a kérdésre, érdekli. Az első helyzetben - 2 lehetőségek: férfi, nő; a második esetben 3 lehetőség: nyert, rajzolni, elveszett; A harmadik esetben - 4 opció: 4 jelölt intézkedés.

Szerint a fenti meghatározás, a legnagyobb mennyiségű információt hordoz üzenetet a harmadik esetben, a bizonytalanság a tudás egy esemény (választási intézkedés) ebben az esetben a legnagyobb volt.

A 40-es évek a huszadik század, a probléma a mérési adatok lett megoldva az amerikai tudós Claude Shannon - az alapító információ elmélet. Szerint K.Shennonu információk - eltávolítja a bizonytalanság az emberi tudás a kimenetele egy esemény.

Az információ-elmélet, az információs mértékegység meghatározása az alábbiak szerint.

Üzenet, amely csökkenti a bizonytalanságot a tudás a kimenetele egy esemény kétszer hordozza 1 bit információ

E meghatározás szerint, az üzenet az első ilyen helyzetekben hordoz egy bit információt, mert a két lehetséges válaszok egyike lett kiválasztva.

Következésképpen, az összeg a kapott információkat a második és a harmadik helyzetben több mint egy kicsit. De hogyan kell mérni őket?

Vegyünk egy másik példát adja a négy közül, kényelmesebb mérni az információ mennyiségét.

A tanítvány írt tesztet a számítógépen, és megkérdezi a tanár az értékelést kapott. Az értékelés lehet: 2 és 5. A tanár azt válaszolta: „Guess jelek két kérdésre a választ, amely lehet»igen«vagy»nem«.” Gondolkodás hallgató kéri az első kérdés: „értékelése a fenti trió?”. „Igen” - válaszolta a mester. A második kérdés: „Ez az öt?”. „Nem” - felelte a mester. A tanítványok megértették, hogy megkapta négy. Bármi legyen is a pontszám, ez így is lesz kitalálta!

Kezdetben, a bizonytalanság a tudás (értékelése a számos lehetőség közül) volt egyenlő néggyel. Mivel a válasz minden kérdésre bizonytalanságot csökkent 2-szer, ezért a fentiek szerint definíció egy kicsit, 1 bites információt továbbítják.

Kezdeti verzió. Kiviteli alakok után fennmaradó 1. kérdés: (1 bit) Variant után megmaradó 2. kérdés: (1 bit)

Tanulási értékelés (négy lehetséges) hallgató kapott 2 bit információt.

Vegyük egy konkrét példát, majd abból az általános szabály.

Egy kis gondolkodás, elvtárs kezdett feltenni:

- Kocsiszám több mint négy?

- Kocsiszám több mint hat?

- Ez a hatodik autó?

- Nos, most már minden világos! Mész az ötödik autót!

Vázlatosan, a keresés az autó számok jelentése a következő:

A kezdeti változatok száma: Miután 1. kérdés (1 bit): Miután a 2. kérdés (egy bit): Ha a harmadik kérdésre (1 bit):

Minden válasz csökkenti a bizonytalanságot a felét. Csak három kérdést tettek fel. Így összesen pontszáma 3 bit információt. És ha egyszer azt mondták, hogy most az ötödik autó, akkor ez az üzenet kerül küldésre ugyanazon 3 bit információt.

A keresőmotorok megoldani alkalmazott példák eddig motorkocsik és az úgynevezett felező módszer. választ minden kérdésre csökkenti a bizonytalanságot a tudás felét. Így minden ilyen választ hordoz egy bit információt.

Megjegyezzük, hogy a megoldások keresését felező módszer a legésszerűbb. Ily módon, akkor mindig kitalálni, például bármelyik nyolc változatai a 3 kérdés. Ha a keresést végeztünk brute force: „Menj az első autó?” - „Nem”, „A második autó?” - „Nem”, stb valamit az ötödik autót lehet találni öt kérdések, valamint a nyolcadik - nyolc után. Mert információszerzés számunkban visszatérünk a tanfolyamot.

„A fő képlet” Informatics

Megfogalmazzuk egy nagyon fontos feltétele, utalva a példákat figyelembe venni. Minden esetben azt feltételezzük, hogy minden lehetőség egyformán valószínű eseményeket. Egyenlő valószínűséggel, hogy a tanár lehet férfi vagy nő; equiprobable bármely eredménye egy futballmérkőzés, equiprobable választás egy négy jelölt a város lépéseket. Ugyanez vonatkozik a példákat a becslések és autók.

Akkor a leírt eredmények az alábbi szöveggel:

- üzenetet egy két egyformán valószínű kimenetelét esemény hordozza 1 bit információt;

- üzenet az egyik a négy egyformán valószínű kimenetelét esemény hordozza 2 bit információt;

- üzenetet egy nyolc egyformán valószínű kimenetelét esemény hordozza 3 bit információt.

Jelölje N számának lehetséges kimenetelek az események, vagy ahogy mi nevezzük, még, - a bizonytalanság a tudás. Az I betű jelöli a mennyiségű információt a jelentést az egyik N eredményeket.

A példában az N = 2 tanár. i = 1 bit;

Példa eddig N = 4. i = 2 bit;

A példában N = 8 autó. i = 3 bit.

Ez könnyű észrevenni, hogy a kapcsolat a két érték van kifejezve az alábbi képlet:

Az így kapott képlet már tudja a tanfolyam a számítógép-tudomány osztály 8 és még nem egy napon találkozni fogunk vele. Ennek értéke formula olyan nagy, hogy azt nevezte a fő informatikai formula. Ha az n értéke ismert, és i - nem ismert, ez a képlet válik az egyenlettel meghatározható, i. A matematikában ez az úgynevezett exponenciális egyenletek.

Hagyja, hogy a vonat nem 8 és 16 autó. A kérdés megválaszolásához, hogy mennyi információt tartalmaz a jelentés, hogy hány a kívánt autó, meg kell oldani a következő egyenletet:

Mivel 16 = 2 i = 4, majd 4 bit.

Az információk mennyisége (i), egy üzenet tartalmaz egy N egyformán eredményez bizonyos események által meghatározott megoldása egy exponenciális egyenlet: i = N 2

1. példa A moziban 16 sorok, minden sorban 32 helyen. Mennyi információ üzenetet hordoz, hogy vettél egy jegyet a 12. sorban a 10. helyet?

A probléma megoldása: a színházban 16 × 32 = 512 férőhely. Jelentés a megvásárolt jegyet egyértelműen meghatározza a választás egy ilyen helyen. Egyenletből 2 i = 512 9 = 2 kapjuk: i = 9 bit.

De ugyanezt a problémát meg lehet oldani másképp. Üzenetet több hordozza 4 bit információt, mint Április 2 = 16. Üzenet a tér szoba 5 bit információt, mint Május 2 = 32. Általában üzenetet számát és helyét a következő: 4 + 5 = 9 bit információt.

Ez a példa additivitását Information Act (felül szabály): az információ mennyiségét egy üzenetben egyidejűleg több, egymástól független eredményeket események egyenlő összegű mennyiségű információt minden esetben külön-külön.