Koncepti i entropisë informative nënkupton logaritmin negativ të funksionit të masës së probabilitetit për një vlerë. Kështu, kur burimi i të dhënave ka një vlerë me një probabilitet më të ulët (d.m.th., kur ndodh një ngjarje me një probabilitet të ulët), ngjarja mbart më shumë "informacion" ("surprizë") sesa kur të dhënat burimore kanë një vlerë me një probabilitet më të lartë..
Sasia e informacionit të përcjellë nga çdo ngjarje e përcaktuar në këtë mënyrë bëhet një ndryshore e rastësishme vlera e pritur e së cilës është entropia e informacionit. Në përgjithësi, entropia i referohet çrregullimit ose pasigurisë, dhe përkufizimi i saj i përdorur në teorinë e informacionit është drejtpërdrejt analog me atë të përdorur në termodinamikën statistikore. Koncepti i IE u prezantua nga Claude Shannon në punimin e tij të vitit 1948 "Një Teori Matematikore e Komunikimit". Nga këtu erdhi termi "entropia informative e Shannon".
Përkufizimi dhe sistemi
Modeli bazë i një sistemi të transmetimit të të dhënave përbëhet nga tre elementë: një burim të dhënash, një kanal komunikimi dhe një marrës,dhe, siç shprehet Shannon, "problemi bazë i komunikimit" është që marrësi të jetë në gjendje të identifikojë se çfarë të dhënash janë gjeneruar nga burimi bazuar në sinjalin që ai merr përmes kanalit. Entropia siguron një kufizim absolut në gjatësinë më të shkurtër të mundshme të kodimit mesatar pa humbje të të dhënave të burimit të ngjeshur. Nëse entropia e burimit është më e vogël se gjerësia e brezit të kanalit të komunikimit, të dhënat që ai gjeneron mund të transmetohen në mënyrë të besueshme te marrësi (të paktën në teori, ndoshta duke neglizhuar disa konsiderata praktike siç është kompleksiteti i sistemit të kërkuar për transmetimin e të dhënave dhe sasinë e kohës që mund të duhet për të transmetuar të dhënat).
Entropia e informacionit matet zakonisht në bit (të quajtur ndryshe "shannons") ose ndonjëherë në "njësi natyrore" (nats) ose numra dhjetorë (të quajtur "dits", "bans" ose "hartleys"). Njësia e matjes varet nga baza e logaritmit, e cila përdoret për të përcaktuar entropinë.
Vetitë dhe logaritmi
Shpërndarja e probabilitetit log është e dobishme si masë e entropisë sepse është shtesë për burime të pavarura. Për shembull, entropia e një basti të drejtë të një monedhe është 1 bit, ndërsa entropia e vëllimeve m është m bit. Në një paraqitje të thjeshtë, bit log2(n) nevojiten për të përfaqësuar një variabël që mund të marrë një nga n vlerat nëse n është një fuqi prej 2. Nëse këto vlera janë po aq të mundshme, entropia (në bit) është e barabartë me atë numër. Nëse një nga vlerat ka më shumë gjasa se të tjerat, vëzhgimi se ështëkuptimi ndodh, është më pak informues sesa nëse do të ndodhte ndonjë rezultat më pak i përgjithshëm. Anasjelltas, ngjarjet më të rralla ofrojnë informacion shtesë për gjurmimin.
Për shkak se vëzhgimi i ngjarjeve më pak të mundshme është më pak i shpeshtë, nuk ka asgjë të përbashkët që entropia (e konsideruar si informacion mesatar) e marrë nga të dhënat e shpërndara në mënyrë të pabarabartë është gjithmonë më e vogël ose e barabartë me log2(n). Entropia është zero kur përcaktohet një rezultat.
Entropia e informacionit e Shannon i përcakton këto konsiderata kur dihet shpërndarja e probabilitetit të të dhënave themelore. Kuptimi i ngjarjeve të vëzhguara (kuptimi i mesazheve) është i parëndësishëm në përkufizimin e entropisë. Kjo e fundit merr parasysh vetëm probabilitetin për të parë një ngjarje të caktuar, kështu që informacioni që përmbledh është të dhëna për shpërndarjen e mundësive, jo për kuptimin e vetë ngjarjeve. Vetitë e entropisë së informacionit mbeten të njëjta siç përshkruhen më sipër.
Teoria e informacionit
Ideja bazë e teorisë së informacionit është se sa më shumë të dijë dikush për një temë, aq më pak informacion mund të marrë rreth saj. Nëse një ngjarje ka shumë të ngjarë, nuk është për t'u habitur kur ndodh dhe për këtë arsye jep pak informacion të ri. Në të kundërt, nëse ngjarja ishte e pamundur, ishte shumë më informuese se ngjarja kishte ndodhur. Prandaj, ngarkesa është një funksion në rritje i probabilitetit të anasjelltë të ngjarjes (1 / p).
Tani nëse ndodhin më shumë ngjarje, entropimat përmbajtjen mesatare të informacionit që mund të prisni nëse ndodh një nga ngjarjet. Kjo do të thotë se hedhja e një koke ka më shumë entropi sesa hedhja e një monedhe sepse çdo rezultat kristal ka një probabilitet më të ulët se çdo rezultat i monedhës.
Karakteristikat
Kështu, entropia është një masë e paparashikueshmërisë së një gjendjeje ose, që është e njëjta gjë, përmbajtjes mesatare të informacionit të saj. Për të kuptuar intuitivisht këto terma, merrni parasysh shembullin e një sondazhi politik. Zakonisht sondazhe të tilla ndodhin sepse rezultatet e, për shembull, zgjedhjet nuk dihen ende.
Me fjalë të tjera, rezultatet e sondazhit janë relativisht të paparashikueshme dhe në fakt, kryerja e tij dhe shqyrtimi i të dhënave jep disa informacione të reja; ato janë thjesht mënyra të ndryshme për të thënë se entropia e mëparshme e rezultateve të sondazhit është e madhe.
Tani merrni parasysh rastin kur i njëjti sondazh kryhet për herë të dytë menjëherë pas të parit. Meqenëse rezultati i sondazhit të parë është tashmë i njohur, rezultatet e anketës së dytë mund të parashikohen mirë dhe rezultatet nuk duhet të përmbajnë shumë informacione të reja; në këtë rast, entropia a priori e rezultatit të sondazhit të dytë është e vogël në krahasim me të parën.
Hedhja e monedhës
Tani merrni parasysh shembullin e rrokullisjes së një monedhe. Duke supozuar se probabiliteti i bishtave është i njëjtë me probabilitetin e kokave, entropia e një hedhjeje monedhe është shumë e lartë, pasi është një shembull i veçantë i entropisë informative të një sistemi.
Kjo sepsese është e pamundur të parashikohet që rezultati i një monedhe të hidhet para kohe: nëse duhet të zgjedhim, më e mira që mund të bëjmë është të parashikojmë që monedha do të bjerë në bisht dhe ky parashikim do të jetë i saktë me një probabilitet prej 1 / 2. Një hedhje e tillë monedhe ka një bit entropi, pasi ka dy rezultate të mundshme që ndodhin me probabilitet të barabartë, dhe studimi i rezultatit aktual përmban një bit informacion.
Përkundrazi, rrokullisja e një monedhe duke përdorur të dyja anët me bisht dhe pa koka ka zero entropi pasi monedha do të ulet gjithmonë në këtë shenjë dhe rezultati mund të parashikohet në mënyrë të përsosur.
Përfundim
Nëse skema e kompresimit është pa humbje, që do të thotë se gjithmonë mund të rikuperoni të gjithë mesazhin origjinal duke e dekompresuar, atëherë mesazhi i ngjeshur ka të njëjtën sasi informacioni si origjinali, por transmetohet me më pak karaktere. Kjo do të thotë, ka më shumë informacion ose entropi më të lartë për karakter. Kjo do të thotë se mesazhi i ngjeshur ka më pak tepricë.
Përafërsisht, teorema e kodimit të kodit burimor të Shannon-it thotë se një skemë kompresimi pa humbje nuk mund të reduktojë mesatarisht mesazhet që të kenë më shumë se një bit informacion për bit mesazhi, por çdo vlerë më e vogël se një bit informacion për bit mund të arrihet. mesazhe duke përdorur skemën e duhur të kodimit. Entropia e një mesazhi në bit herë gjatësia e tij është një masë e sasisë së informacionit të përgjithshëm që përmban.
