Informazione ed entropia

Quando si discute del concetto di informazione, è impossibile non toccare un altro concetto correlato: l'entropia. Per la prima volta, i concetti di entropia e informazione furono collegati da K. Shannon.

Definizione fisica di entropia

Per la prima volta il concetto di entropia fu introdotto da Clausius nel 1865 in funzione dello stato termodinamico del sistema

dove Q è il calore, T è la temperatura.

Il significato fisico dell'entropia appare come una parte dell'energia interna del sistema, che non può essere trasformata in lavoro. Clausius ha ottenuto questa funzione empiricamente sperimentando con i gas.

L. Boltzmann (1872) con i metodi della fisica statistica ha derivato l'espressione teorica dell'entropia

dove K è una costante; W è la probabilità termodinamica (il numero di permutazioni di molecole di gas ideali che non influenzano il macrostato del sistema).

L'entropia di Boltzmann è derivata per un gas ideale ed è interpretata come una misura del disordine, una misura del caos di un sistema. Per un gas ideale, le entropie di Boltzmann e Clausius sono identiche. La formula di Boltzmann divenne così famosa che fu iscritta come epitaffio sulla sua tomba. Si crede che entropia e caos siano la stessa cosa. Nonostante il fatto che l'entropia descriva solo i gas ideali, iniziò ad essere usata in modo acritico per descrivere oggetti più complessi.

Boltzmann stesso nel 1886. cercato di spiegare con l'aiuto dell'entropia cos'è la vita. Secondo Boltzmann, la vita è un fenomeno che può ridurre la sua entropia. Secondo Boltzmann e i suoi seguaci, tutti i processi nell'Universo cambiano nella direzione del caos. L'universo si sta dirigendo verso la morte termica. Questa cupa previsione ha dominato a lungo la scienza. Tuttavia, l'approfondimento della conoscenza del mondo che ci circonda ha gradualmente infranto questo dogma.

I classici non associavano l'entropia all'informazione.

Entropia come misura dell'informazione

Si noti che il concetto di "informazione" è spesso interpretato come "informazione" e il trasferimento di informazioni viene effettuato utilizzando la comunicazione. K. Shannon considerava l'entropia come una misura di informazioni utili nei processi di trasmissione del segnale sui cavi.

Per calcolare l'entropia, Shannon ha proposto un'equazione che ricorda l'espressione classica per l'entropia trovata da Boltzmann. Si considera un evento casuale indipendente X con N stati possibili e p i è la probabilità dell'i-esimo stato. Allora l'entropia dell'evento X

Questa quantità è anche chiamata entropia media. Ad esempio, possiamo parlare della trasmissione di un messaggio in linguaggio naturale. Quando trasmettiamo lettere diverse, trasmettiamo una quantità diversa di informazioni. La quantità di informazioni per lettera è correlata alla frequenza di utilizzo di questa lettera in tutti i messaggi generati nella lingua. Più rara è una lettera che trasmettiamo, più informazioni contiene.

La grandezza

H i = P i log 2 1 / P i = ‑P i log 2 P i,

si chiama entropia privata, che caratterizza solo lo stato i-e.

Cerchiamo di spiegare con esempi... Quando viene lanciata una moneta, esce testa o croce, questa è una certa informazione sui risultati del lancio.

Per una moneta, il numero di possibilità equiprobabili è N = 2. La probabilità di ottenere testa (croce) è 1/2.

Quando si lanciano i dadi, otteniamo informazioni sulla caduta di un certo numero di punti (ad esempio tre). Quando avremo maggiori informazioni?

Per un dado, il numero di possibilità ugualmente probabili è N = 6. La probabilità di ottenere tre punti di dado è 1/6. L'entropia è 2,58. La realizzazione dell'evento meno probabile fornisce maggiori informazioni. Maggiore è l'incertezza prima di ricevere un messaggio su un evento (lancio di una moneta, dadi), più informazioni vengono ricevute quando si riceve un messaggio.

Questo approccio all'espressione quantitativa dell'informazione è tutt'altro che universale, poiché le unità adottate non tengono conto di proprietà così importanti dell'informazione come il suo valore e significato. L'astrazione dalle proprietà specifiche dell'informazione (significato, il suo valore) sugli oggetti reali, come si è scoperto in seguito, ha permesso di identificare modelli generali di informazione. Le unità (bit) proposte da Shannon per misurare la quantità di informazioni sono adatte a valutare eventuali messaggi (la nascita di un figlio, i risultati di una partita sportiva, ecc.). In futuro, sono stati fatti tentativi per trovare tali misure della quantità di informazioni che tengano conto del suo valore e significato. Tuttavia, l'universalità si è subito persa: per processi diversi, i criteri di valore e significato sono diversi. Inoltre, le definizioni del significato e del valore dell'informazione sono soggettive e la misura dell'informazione proposta da Shannon è oggettiva. Ad esempio, un odore porta un'enorme quantità di informazioni per un animale, ma è sfuggente per una persona. L'orecchio umano non percepisce segnali ultrasonici, ma trasportano molte informazioni per il delfino, ecc. Pertanto, la misura delle informazioni proposta da Shannon è adatta per studiare tutti i tipi di processi informativi, indipendentemente dai "gusti" delle informazioni consumatore.

Informazioni sulle misurazioni

Dal corso di fisica, sai che prima di misurare il valore di qualsiasi grandezza fisica, devi inserire l'unità di misura. Anche l'informazione ha una tale unità - un po', ma il suo significato è diverso con approcci diversi alla definizione del concetto di "informazione".

Esistono diversi approcci al problema della misurazione delle informazioni.

Claude Shannon ha iniziato a interpretare i messaggi trasmessi ei rumori nei canali di comunicazione dal punto di vista statistico, considerando insiemi di messaggi sia finiti che continui. Claude Shannon si chiama "Il padre della teoria dell'informazione".

Uno dei lavori scientifici più famosi di Claude Shannon è il suo articolo "Teoria matematica della comunicazione" pubblicato nel 1948.

In questo lavoro, Shannon, esplorando il problema della trasmissione razionale delle informazioni attraverso un canale di comunicazione rumoroso, ha proposto un approccio probabilistico alla comprensione delle comunicazioni, ha creato la prima teoria veramente matematica dell'entropia come misura della casualità e ha introdotto una misura della distribuzione discreta P probabilità sull'insieme degli stati alternativi del trasmettitore e del ricevitore dei messaggi.

Shannon stabilì i requisiti per misurare l'entropia e derivò una formula che divenne la base della teoria dell'informazione quantitativa:

H (p).

Qui n- il numero di caratteri da cui può essere composto il messaggio (alfabeto), h - informazioni entropia binaria .

In pratica, i valori delle probabilità p io nella formula sopra, sostituirli con stime statistiche: p io - frequenza relativa io esimo carattere nel messaggio, dove n- il numero di tutti i caratteri nel messaggio, N io- frequenza assoluta io esimo carattere nel messaggio, ad es. numero di occorrenza io esimo carattere nel messaggio.

Nell'introduzione al suo articolo "Teoria matematica della comunicazione" Shannon osserva che in questo articolo espande la teoria della comunicazione, le cui principali disposizioni sono contenute in importanti opere Nyquist e Hartley.

I primi risultati di Nyquist nel determinare l'ampiezza della gamma di frequenza richiesta per la trasmissione delle informazioni hanno gettato le basi per il successivo successo di Claude Shannon nello sviluppo della teoria dell'informazione.

Nel 1928, Hartley introdusse la misura logaritmica dell'informazione h = K Registro 2 n, che è spesso chiamato quantità di informazioni di Hartley.

Hartley possiede il seguente importante teorema sulla quantità di informazione richiesta: se in un dato insieme m consiste in n elementi, contiene elementi X, di cui si sa solo che appartiene a questo insieme m poi per trovare X, è necessario ottenere su questo insieme la quantità di informazioni pari a log 2 n po.

A proposito, nota che il nome PO deriva dall'abbreviazione inglese BIT - Cifra binaria... Questo termine è stato proposto per la prima volta da un matematico americano Giovanni Tukey nel 1946. Hartley e Shannon hanno usato il bit come unità di misura per le informazioni.

In generale, l'entropia di Shannon è l'entropia di un insieme di probabilità P 1 , P 2 ,…, p n.

A rigor di termini, se X P 1 , P 2 ,…, p n- le probabilità di tutti i suoi possibili valori, quindi la funzione h (X)imposta l'entropia di questa variabile casuale, mentre, sebbene X e non è un argomento di entropia, puoi scrivere h (X).

Allo stesso modo, se sìè una variabile casuale discreta finita, e Q 1 , Q 2 ,…, Q m sono le probabilità di tutti i suoi possibili valori, quindi per questa variabile casuale è possibile scrivere h (sì).

Shannon ha chiamato la funzione h(X)entropia su consiglio John von Neumann.

Neumann sosteneva: questa funzione dovrebbe essere chiamata entropia “Per due ragioni. Prima di tutto, la tua funzione di incertezza è stata utilizzata nella meccanica statistica con questo nome, quindi ha già un nome. In secondo luogo, e soprattutto, nessuno sa cosa sia veramente l'entropia, quindi avrai sempre un vantaggio nella discussione"..

Dobbiamo presumere che questo consiglio di Neumann non fosse un semplice scherzo. Molto probabilmente, sia John von Neumann che Claude Shannon conoscevano l'interpretazione dell'informazione dell'entropia di Boltzmann come una quantità che caratterizza l'incompletezza delle informazioni sul sistema.

Nella definizione di Shannon entropiaè la quantità di informazioni per un messaggio elementare della sorgente che genera messaggi statisticamente indipendenti.

7. Entropia di Kolmogorov

UN. Kolmogorov risultati fondamentali sono stati ottenuti in molte aree della matematica, compresa la teoria della complessità degli algoritmi e la teoria dell'informazione.

In particolare, svolge un ruolo chiave nel trasformare la teoria dell'informazione, formulata da Claude Shannon come disciplina tecnica, in una rigorosa scienza matematica, e nel costruire la teoria dell'informazione su basi fondamentalmente diverse da quelle di Shannon.

Nei suoi lavori sulla teoria dell'informazione e nel campo della teoria dei sistemi dinamici, A.N. Kolmogorov ha generalizzato il concetto di entropia a processi casuali ergodici attraverso la distribuzione di probabilità limite. Per comprendere il significato di questa generalizzazione, è necessario conoscere le definizioni ei concetti di base della teoria dei processi casuali.

Il valore dell'entropia di Kolmogorov (chiamata anche K-entropia) specifica una stima del tasso di perdita di informazioni e può essere interpretato come una misura della "memoria" del sistema, o una misura del tasso di "dimenticanza" delle condizioni iniziali. Può anche essere visto come una misura della casualità del sistema.

8. L'entropia di Renyi

Introdotto uno spettro di un parametro di entropie Renyi.

Da un lato, l'entropia di Renyi è una generalizzazione dell'entropia di Shannon. D'altra parte, allo stesso tempo, è una generalizzazione della distanza (discrepanza) Kullback-Leibler... Si noti inoltre che è Renyi il responsabile della dimostrazione completa del teorema di Hartley sulla quantità di informazioni richiesta.

Distanza Kullback-Leibler(divergenza dell'informazione, entropia relativa) è una misura asimmetrica della distanza l'una dall'altra di due distribuzioni di probabilità.

In genere, una delle distribuzioni confrontate è la distribuzione "vera" e la seconda distribuzione è la distribuzione dedotta (testata), che è un'approssimazione della prima.

lascia stare X, sì sono variabili casuali discrete finite per le quali l'intervallo dei valori possibili appartiene a un dato insieme e le funzioni di probabilità sono note: P (X = un io) = p io e P (sì = un io) = q io.

Quindi il valore DKL della distanza Kullback-Leibler viene calcolato con le formule

D KL (X, sì) =, D KL (sì, X) = .

Nel caso di variabili casuali assolutamente continue X, sì date dalle loro densità di distribuzione, nelle formule per il calcolo del valore della distanza di Kullback-Leibler, le somme sono sostituite dai corrispondenti integrali.

La distanza di Kullback-Leibler è sempre un numero non negativo, mentre è uguale a zero D KL(X, sì) = 0 se e solo se per le variabili casuali date l'uguaglianza X = sì.

Nel 1960, Alfred Renyi propone la sua generalizzazione dell'entropia.

Renyi entropia è una famiglia di funzionali per la varietà quantitativa della casualità del sistema. Renyi definì la sua entropia come il momento di ordine α della misura di una partizione ε (rivestimento).

Sia α un numero reale dato che soddisfa i requisiti α ≥ 0, α ≠ 1. Allora l'entropia di Renyi di ordine α è definita dalla formula h α = h α ( X), dove p io = P (X = x io) è la probabilità di un evento che una variabile casuale discreta X risulta essere uguale al suo corrispondente possibile valore, n- il numero totale di diversi possibili valori della variabile casuale X.

Per una distribuzione uniforme quando P 1 = P 2 =…= p n =1/n, tutte le entropie di Renyi sono uguali h α ( X) = ln n.

Diversamente, i valori delle entropie di Renyi diminuiscono leggermente all'aumentare dei valori del parametro α. Le entropie di Renyi svolgono un ruolo importante nell'ecologia e nella statistica come indici di diversità.

L'entropia di Renyi è importante anche nell'informazione quantistica, può essere usata come misura della complessità.

Considera alcuni casi speciali dell'entropia di Renyi per valori specifici dell'ordine α:

1. L'entropia di Hartley : h 0 = h 0 (X) = ln n, dove nè la potenza dell'intervallo dei possibili valori di una variabile casuale finita X, cioè. il numero di elementi distinti appartenenti all'insieme dei valori possibili;

2. Entropia delle informazioni di Shannon : h 1 = h 1 (X) = h 1 (P) (definito come limite come α → 1, che è facile da trovare, ad esempio, utilizzando la regola di L'Hôpital);

3. Entropia di correlazione o collisione di entropia: h 2 = h 2 (X) = - ln ( X = sì);

4. Min-entropia : h ∞ = h ∞ (X).

Si noti che per qualsiasi valore non negativo dell'ordine (α ≥ 0), le disuguaglianze h ∞ (X) ≤ h α ( X). Oltretutto, h 2 (X) ≤ h 1 (X) e h ∞ (X) ≤ h 2 (X) 2 h ∞ (X).

Alfred Renyi ha introdotto non solo le sue entropie assolute (1.15), ma ha anche definito lo spettro delle misure di divergenza che generalizzano le divergenze di Kullback-Leibner.

Sia α un dato numero reale che soddisfi i requisiti α> 0, α ≠ 1. Allora, nella notazione usata per determinare il valore D KL la distanza di Kullback-Leibler, il valore della divergenza di Rényi di ordine α è determinato dalle formule

D α ( X, sì), D α ( X, sì).

La divergenza Renyi è anche chiamata alfa-divergenza o α-divergenza. Lo stesso Rényi ha usato un logaritmo in base 2, ma, come sempre, il valore della base del logaritmo è del tutto irrilevante.

9. Entropia di Tsallis

Nel 1988, ha proposto una nuova generalizzazione dell'entropia, che è conveniente per l'applicazione al fine di sviluppare la teoria della termodinamica non lineare.

La generalizzazione dell'entropia da lui proposta potrebbe forse svolgere un ruolo significativo nella fisica teorica e nell'astrofisica nel prossimo futuro.

Entropia di Tsallis quadrato, spesso chiamata entropia non estensiva (non additiva), è definita per n microstati secondo la seguente formula:

S q = S q (X) = S q (P) = K· , .

Qui K- costante dimensionale, se la dimensione gioca un ruolo importante nella comprensione del problema.

Tsallis ei suoi sostenitori propongono di sviluppare "meccanica statistica e termodinamica non estensiva" come generalizzazione di queste discipline classiche al caso di sistemi con memoria lunga e/o forze a lungo raggio.

Da tutti gli altri tipi di entropia, incl. e dall'entropia di Renyi, l'entropia di Tsallis differisce in quanto non è additiva. Questa è una differenza fondamentale e importante..

Tsallis e i suoi sostenitori ritengono che questa caratteristica permetta di costruire una nuova termodinamica e una nuova teoria statistica, che sono modi per descrivere in modo semplice e corretto sistemi con memoria lunga e sistemi in cui ogni elemento interagisce non solo con i suoi vicini più prossimi, ma anche con l'intero sistema nel suo insieme o le sue parti più grandi.

Un esempio di tali sistemi, e quindi un possibile oggetto di ricerca utilizzando la nuova teoria, sono i sistemi cosmici gravitanti: ammassi stellari, nebulose, galassie, ammassi di galassie, ecc.

Dal 1988, anno in cui Constantino Tsallis propose la sua entropia, sono comparse un numero significativo di applicazioni della termodinamica dei sistemi anomali (con memoria di lunghezza e/o forze a lungo raggio), anche nel campo della termodinamica dei sistemi gravitanti.

10. Entropia quantistica di von Neumann

L'entropia di von Neumann gioca un ruolo importante nella fisica quantistica e nella ricerca astrofisica.

John von Neumann ha dato un contributo significativo allo sviluppo di branche della scienza come la fisica quantistica, la logica quantistica, l'analisi funzionale, la teoria degli insiemi, l'informatica e l'economia.

Era un membro del Manhattan Nuclear Weapons Project, uno dei fondatori della teoria dei giochi matematici e del concetto di automi cellulari, e il fondatore della moderna architettura dei computer.

L'entropia di von Neumann, come ogni entropia, è associata all'informazione: in questo caso, all'informazione su un sistema quantistico. E a questo proposito, svolge il ruolo di parametro fondamentale che caratterizza quantitativamente lo stato e la direzione dell'evoluzione di un sistema quantistico.

Attualmente, l'entropia di von Neumann è ampiamente utilizzata in varie forme (entropia condizionata, entropia relativa, ecc.) nell'ambito della teoria dell'informazione quantistica.

Varie misure di entanglement sono direttamente correlate all'entropia di von Neumann. Tuttavia, recentemente sono apparsi numerosi lavori dedicati alla critica dell'entropia di Shannon come misura dell'informazione e della sua possibile inadeguatezza, e, quindi, dell'inadeguatezza dell'entropia di von Neumann come generalizzazione dell'entropia di Shannon.

Questa revisione (purtroppo sommaria e talvolta non sufficientemente matematicamente rigorosa) dell'evoluzione delle opinioni scientifiche sul concetto di entropia ci consente di rispondere a importanti domande relative alla vera essenza dell'entropia e alle prospettive di utilizzo dell'approccio entropico in ambito scientifico e pratico. ricerca. Ci limiteremo a considerare le risposte a due di queste domande.

Prima domanda: Le numerose varietà di entropia, considerate e non considerate sopra, hanno qualcosa in comune se non lo stesso nome?

Questa domanda sorge spontanea se si tiene conto della diversità che caratterizza i diversi concetti esistenti di entropia.

Ad oggi, la comunità scientifica non ha sviluppato un'unica risposta universalmente riconosciuta a questa domanda: alcuni scienziati rispondono affermativamente a questa domanda, altri negativamente e altri ancora si riferiscono alla comunità di entropie di vario tipo con un notevole grado di dubbio ...

Clausius, a quanto pare, fu il primo scienziato a essere convinto della natura universale dell'entropia e credeva che svolgesse un ruolo importante in tutti i processi che si verificano nell'Universo, in particolare, determinando la loro direzione di sviluppo nel tempo.

A proposito, è Rudolf Clausius che possiede una delle formulazioni della seconda legge della termodinamica: "Un processo è impossibile, il cui unico risultato sarebbe il trasferimento di calore da un corpo più freddo a uno più caldo.".

Questa formulazione della seconda legge della termodinamica si chiama Postulato di Clausius , e il processo irreversibile cui si fa riferimento in questo postulato è Processo di Clausius .

Dalla scoperta della seconda legge della termodinamica, i processi irreversibili hanno svolto un ruolo unico nell'immagine fisica del mondo. Così, il famoso articolo del 1849 William Thompson, in cui è data una delle prime formulazioni della seconda legge della termodinamica, era chiamata "Sulla tendenza universale in natura a dissipare l'energia meccanica".

Nota anche che Clausius fu costretto a usare il linguaggio cosmologico: "L'entropia dell'Universo tende al massimo".

Sono arrivato a conclusioni simili Ilya Prigogine... Prigogine ritiene che il principio dell'entropia sia responsabile dell'irreversibilità del tempo nell'Universo e, forse, svolga un ruolo importante nella comprensione del significato del tempo come fenomeno fisico.

Ad oggi sono stati effettuati molti studi e generalizzazioni dell'entropia, anche dal punto di vista di una rigorosa teoria matematica. Tuttavia, l'attività notevole dei matematici in questo settore non è stata ancora richiesta nelle applicazioni, ad eccezione, forse, dei lavori Kolmogorov, Renyi e Tsallisa.

Indubbiamente, l'entropia è sempre una misura (grado) del caos e del disordine. È la varietà delle manifestazioni del fenomeno del caos e del disordine che determina l'inevitabilità di una varietà di modificazioni dell'entropia.

Seconda domanda: È possibile riconoscere l'ambito di applicazione dell'approccio dell'entropia come esteso, o tutte le applicazioni dell'entropia e della seconda legge della termodinamica sono limitate alla termodinamica stessa e alle relative aree della scienza fisica?

La storia dello studio scientifico dell'entropia testimonia che l'entropia è un fenomeno scientifico scoperto in termodinamica, e poi migrato con successo ad altre scienze e, soprattutto, alla teoria dell'informazione.

Indubbiamente, l'entropia gioca un ruolo importante in quasi tutte le aree delle moderne scienze naturali: nella fisica termica, nella fisica statistica, nella cinetica fisica e chimica, nella biofisica, nell'astrofisica, nella cosmologia e nella teoria dell'informazione.

Quando si parla di matematica applicata, non si possono non citare le applicazioni del principio della massima entropia.

Come già notato, gli oggetti quantomeccanici e relativistici sono importanti campi di applicazione dell'entropia. In fisica quantistica e astrofisica, tali applicazioni dell'entropia sono di grande interesse.

Citiamo solo un risultato originale della termodinamica dei buchi neri: l'entropia di un buco nero è pari a un quarto della sua superficie (l'area dell'orizzonte degli eventi).

In cosmologia, si ritiene che l'entropia dell'Universo sia uguale al numero di quanti di radiazione residua per nucleone.

Pertanto, l'ambito dell'approccio dell'entropia è molto ampio e include un'ampia varietà di rami della conoscenza, dalla termodinamica, ad altre aree della scienza fisica, all'informatica e, ad esempio, alla storia e all'economia.

AV Segal, Dottore in Economia, Università di Crimea intitolata a V.I. Vernadsky

1. Introduzione.

2. Cosa ha misurato Claude Shannon?

3. Limiti della variabilità evolutiva dei sistemi informativi.

4. Adattamento limitato delle specie biologiche.

5. Fasi di sviluppo della teoria dell'entropia.

6. Metodi per il calcolo della quantità di informazioni strutturali e dell'entropia informativa dei testi.

7. Relazioni informazioni-entropiche dei processi di adattamento e sviluppo.

8. Informazione ed energia.

9. Conclusione.

10. Bibliografia.

INTRODUZIONE

Nella seconda metà del XX secolo si sono verificati due eventi che, a nostro avviso, determinano in gran parte gli ulteriori percorsi di comprensione scientifica del mondo. Si tratta della creazione della teoria dell'informazione e dell'inizio della ricerca sui meccanismi dei processi antientropia, per il cui studio la sinergia attinge a tutte le ultime conquiste della termodinamica del non equilibrio, della teoria dell'informazione e della teoria generale dei sistemi.

La differenza fondamentale tra questa fase dello sviluppo della scienza e le fasi precedenti è che prima della creazione delle aree di ricerca elencate, la scienza era in grado di spiegare solo i meccanismi dei processi che portavano ad un aumento del caos e ad un aumento dell'entropia. Per quanto riguarda i concetti biologici ed evolutivi sviluppati dai tempi di Lamarck e Darwin, non hanno ancora solide fondamenta scientifiche e contraddicono la Seconda Legge della Termodinamica, secondo la quale l'aumento di entropia che accompagna tutti i processi nel mondo è una legge fisica indispensabile .

Il merito della termodinamica di non equilibrio risiede nel fatto che è stata in grado di svelare i meccanismi dei processi anti-entropia che non contraddicono la Seconda Legge della Termodinamica, poiché una diminuzione locale dell'entropia all'interno di un sistema auto-organizzante è sempre pagata da un forte aumento del valore assoluto dell'entropia dell'ambiente esterno.

Il passo più importante verso la comprensione della natura e dei meccanismi dei processi antientropici è l'introduzione di una misura quantitativa delle informazioni. Inizialmente, questa misura era destinata solo alla soluzione di problemi puramente applicativi della tecnologia della comunicazione. Tuttavia, successive ricerche nel campo della fisica e della biologia hanno permesso di identificare le misure universali proposte da K. Shannon, consentendo di stabilire la relazione tra la quantità di informazioni e l'entropia fisica e, infine, determinare l'essenza di una nuova interpretazione scientifica del concetto di "informazione" come misura dell'ordinamento strutturale dei più diversi sistemi naturali...

Usando una metafora, possiamo dire che prima dell'introduzione nella scienza di una singola misura informativa quantitativa, il mondo rappresentato nei concetti delle scienze naturali sembrava “appoggiarsi a due balene”: energia e materia. La "terza balena" è ormai un'informazione che partecipa a tutti i processi che avvengono nel mondo, dalle microparticelle, atomi e molecole al funzionamento dei più complessi sistemi biologici e sociali.

Sorge spontanea la domanda: gli ultimi dati della scienza moderna confermano o smentiscono il paradigma evolutivo dell'origine della vita e delle specie biologiche?

Per rispondere a questa domanda, è necessario, prima di tutto, capire quali proprietà e aspetti del multiforme concetto di "informazione" riflettono la misura quantitativa che K. Shannon ha introdotto nella scienza.

L'utilizzo della misura della quantità di informazioni consente di analizzare i meccanismi generali delle interazioni informazioni-entropiche che sono alla base di tutti i processi di accumulo di informazioni che si verificano spontaneamente nel mondo circostante, che portano all'auto-organizzazione della struttura dei sistemi.

Allo stesso tempo, l'analisi dell'entropia dell'informazione consente anche di individuare lacune nei concetti evolutivi, che altro non sono che tentativi insostenibili di ridurre il problema dell'origine della vita e delle specie biologiche a semplici meccanismi di autorganizzazione, senza tener conto tenere conto del fatto che sistemi di questo livello di complessità possono essere creati solo sulla base di tali informazioni, originariamente previste nel piano precedente la loro creazione.

Gli studi sulle proprietà dei sistemi informativi effettuati dalla scienza moderna danno ogni ragione per affermare che tutti i sistemi possono essere formati solo secondo le regole discendenti dai livelli gerarchici superiori, e queste stesse regole esistevano prima dei sistemi stessi sotto forma di un piano iniziale (idea di creazione).

COSA HA MISURATO CLAUDE SHENNON?

La teoria dell'informazione si basa sul metodo di calcolo della quantità di informazioni nuove (imprevedibili) e ridondanti (prevedibili) contenute nei messaggi trasmessi attraverso i canali di comunicazione tecnica, proposto da C. Shannon.

Il metodo per misurare la quantità di informazioni proposto da Shannon si è rivelato così universale che la sua applicazione non è più limitata al ristretto quadro delle applicazioni puramente tecniche.

Contrariamente all'opinione dello stesso Shannon, che metteva in guardia gli scienziati dalla frettolosa diffusione del metodo da lui proposto al di là dei problemi applicativi della tecnologia della comunicazione, questo metodo iniziò a trovare un'applicazione sempre più ampia negli studi sui sistemi fisici, biologici e sociali.

La chiave per una nuova comprensione dell'essenza del fenomeno dell'informazione e del meccanismo dei processi informativi era la relazione tra informazione ed entropia fisica stabilita da L. Brillouin. Questa relazione è stata originariamente posta nelle fondamenta stesse della teoria dell'informazione, poiché Shannon ha proposto di utilizzare la probabile funzione di entropia presa in prestito dalla termodinamica statistica per calcolare la quantità di informazioni.

Molti studiosi (a partire dallo stesso Shannon) erano inclini a considerare tale prestito come un dispositivo puramente formale. L. Brillouin ha mostrato che tra la quantità di informazioni e l'entropia fisica calcolata secondo Shannon, non c'è una connessione formale, ma significativa.

In fisica statistica, utilizzando la funzione probabilistica dell'entropia, si studiano i processi che portano all'equilibrio termodinamico, in cui tutti gli stati delle molecole (le loro energie, velocità) si avvicinano ad equiprobabili, e l'entropia tende ad un valore massimo.

Grazie alla teoria dell'informazione, è diventato ovvio che utilizzando la stessa funzione è possibile indagare su sistemi lontani dallo stato di massima entropia, come, ad esempio, un testo scritto.

Un'altra scoperta importante è che

utilizzando la funzione probabilistica dell'entropia, è possibile analizzare tutte le fasi della transizione del sistema da uno stato di caos completo, che corrisponde a uguali valori di probabilità e valore massimo di entropia, a uno stato di ordinamento limite (determinazione rigida ), che corrisponde all'unico stato possibile dei suoi elementi.

Questa conclusione risulta essere ugualmente valida per sistemi di natura dissimile come gas, cristalli, testi scritti, organismi o comunità biologiche, ecc.

Inoltre, se per un gas o un cristallo quando si calcola l'entropia, vengono confrontati solo il microstato (cioè lo stato di atomi e molecole) e il macrostato di questi sistemi (cioè gas o cristallo nel suo insieme), quindi per i sistemi di a diversa natura (biologica, intellettuale, sociale), l'entropia può essere calcolata all'uno o all'altro livello scelto arbitrariamente. In questo caso, il valore calcolato dell'entropia del sistema in esame e la quantità di informazioni che caratterizzano il grado di ordinamento di questo sistema e pari alla differenza tra il valore massimo e reale dell'entropia dipenderanno dalla distribuzione di probabilità degli stati degli elementi del livello inferiore, cioè quegli elementi che nella loro totalità formano questi sistemi.

In altre parole,

la quantità di informazioni immagazzinate nella struttura del sistema è proporzionale al grado di deviazione del sistema dallo stato di equilibrio dovuto all'ordine conservato nella struttura del sistema.

A sua insaputa, Shannon ha armato la scienza di una misura universale, adatta in linea di principio (a condizione che vengano rivelati i valori di tutte le probabilità) per valutare il grado di ordine di tutti i sistemi esistenti nel mondo.

Definire la misura informativa introdotta da Chenon as misura dell'ordine del movimento, è possibile stabilire il rapporto tra informazione ed energia, considerando energia come misura dell'intensità del traffico... Inoltre, la quantità di informazioni immagazzinate nella struttura dei sistemi è proporzionale all'energia totale delle connessioni interne di questi sistemi.

Contestualmente all'identificazione delle proprietà generali dell'informazione come fenomeno, vengono anche rilevate differenze fondamentali legate ai diversi livelli di complessità dei sistemi informativi.

Quindi, ad esempio, tutti gli oggetti fisici, a differenza di quelli biologici, non possiedono speciali organi di memoria, ricodifica di segnali provenienti dal mondo esterno, o canali di comunicazione delle informazioni. Le informazioni memorizzate in essi sono, per così dire, "spalmate" in tutta la loro struttura. Allo stesso tempo, se i cristalli non fossero in grado di immagazzinare informazioni nei legami interni che ne determinano l'ordinamento, non ci sarebbe la possibilità di creare memorie artificiali e dispositivi tecnici progettati per l'elaborazione delle informazioni basati su strutture cristalline.

Allo stesso tempo, va tenuto presente che la creazione di tali dispositivi è diventata possibile solo grazie alla mente umana, che è stata in grado di utilizzare le proprietà informative elementari dei cristalli per costruire sistemi informativi complessi.

Il più semplice sistema biologico supera nella sua complessità il più perfetto sistema informativo creato dall'uomo. Già a livello dei più semplici organismi unicellulari è coinvolto il più complesso meccanismo genetico informativo necessario alla loro riproduzione. Negli organismi pluricellulari, oltre al sistema informativo dell'ereditarietà, esistono organi specializzati per immagazzinare informazioni ed elaborarle (ad esempio, sistemi che transcodificano segnali visivi e uditivi provenienti dal mondo esterno prima di inviarli al cervello, sistemi per elaborarli segnali nel cervello). La più complessa rete di comunicazioni informative (sistema nervoso) permea e trasforma in un tutto l'intero organismo pluricellulare.

Concetto entropia introdotto per la prima volta nel 1865 da R. Clausius in termodinamica per determinare la misura della dissipazione di energia irreversibile. L'entropia è utilizzata in vari rami della scienza, inclusa la teoria dell'informazione, come misura dell'incertezza di un esperimento, un test, che può avere esiti diversi. Queste definizioni di entropia sono profondamente connesse. Quindi, sulla base delle idee sull'informazione, possono essere derivate tutte le disposizioni più importanti della fisica statistica. [ESSERE S. Fisica. M: Grande Enciclopedia Russa, 1998].

Questa quantità è anche chiamata entropia media messaggi. L'entropia nella formula di Shannon è la caratteristica media - l'aspettativa matematica della distribuzione di una variabile casuale.
Ad esempio, in una sequenza di lettere che compongono una frase in russo, lettere diverse appaiono con frequenze diverse, quindi l'incertezza dell'aspetto per alcune lettere è inferiore rispetto ad altre.
Nel 1948, esplorando il problema della trasmissione razionale delle informazioni attraverso un canale di comunicazione rumoroso, Claude Shannon propose un approccio probabilistico rivoluzionario alla comprensione della comunicazione e creò la prima teoria veramente matematica dell'entropia. Le sue idee sensazionali divennero rapidamente la base per lo sviluppo della teoria dell'informazione che utilizza il concetto di probabilità. Il concetto di entropia come misura della casualità è stato introdotto da Shannon nel suo articolo "A Mathematical Theory of Communication", pubblicato in due parti nel Bell System Technical Journal nel 1948.

Nel caso di eventi equiprobabili (caso speciale), quando tutte le opzioni sono ugualmente probabili, rimane solo la dipendenza dal numero di opzioni in esame, e la formula di Shannon è molto semplificata e coincide con la formula di Hartley, proposta per la prima volta da un ingegnere americano Ralph Hartley nel 1928, come uno degli approcci scientifici alla valutazione dei messaggi:

Compito 1. Su eventi ugualmente probabili.
Ci sono 36 carte nel mazzo. Quante informazioni sono contenute nel messaggio che una carta con il ritratto “asso” è estratta dal mazzo; Asso di spade?

Probabilità p1 = 4/36 = 1/9 e p2 = 1/36. Usando la formula di Hartley abbiamo:

Risposta: 3.17; 5.17 bit
Nota (dal secondo risultato) che sono necessari 6 bit per codificare tutte le carte.
È anche chiaro dai risultati che meno è probabile un evento, più informazioni contiene. (Questa proprietà è chiamata monotonia)

Compito 2. Su eventi irregolari
Ci sono 36 carte nel mazzo. Di queste, 12 carte con "ritratti". In alternativa, una delle carte viene presa dal mazzo e mostrata per determinare se su di essa è raffigurato un ritratto. La carta viene rimessa nel mazzo. Determina la quantità di informazioni trasmesse ogni volta che viene mostrata una carta.

Entropia (teoria dell'informazione)

Entropia (informativo)- una misura della casualità dell'informazione, l'incertezza della comparsa di qualsiasi simbolo dell'alfabeto primario. In assenza di perdite di informazioni, è numericamente uguale alla quantità di informazioni per simbolo del messaggio trasmesso.

Ad esempio, in una sequenza di lettere che compongono una frase in russo, lettere diverse appaiono con frequenze diverse, quindi l'incertezza dell'aspetto per alcune lettere è inferiore rispetto ad altre. Se teniamo conto che alcune combinazioni di lettere (in questo caso parlano di entropia n-esimo ordine, vedi) sono molto rari, quindi l'incertezza si riduce ulteriormente.

Per illustrare il concetto di entropia dell'informazione, puoi anche usare l'esempio del campo dell'entropia termodinamica, chiamato demone di Maxwell. I concetti di informazione ed entropia hanno profonde connessioni tra loro, ma nonostante ciò, lo sviluppo di teorie nella meccanica statistica e nella teoria dell'informazione ha richiesto molti anni per renderli coerenti tra loro.

Definizioni formali

Entropia dell'informazione per eventi casuali indipendenti X insieme a n stati possibili (da 1 a n) si calcola con la formula:

Questa quantità è anche chiamata entropia media del messaggio... La quantità si chiama entropia privata solo caratterizzante io-proprietà.

Quindi, l'entropia dell'evento Xè la somma con segno opposto di tutti i prodotti delle relative frequenze di occorrenza dell'evento io moltiplicato per i loro logaritmi binari (la base 2 è stata scelta solo per comodità di lavorare con informazioni presentate in forma binaria). Questa definizione per eventi casuali discreti può essere estesa alla funzione di distribuzione di probabilità.

Generalmente B-aria entropia(dove B uguale a 2, 3, ...) una fonte con l'alfabeto originale e una distribuzione di probabilità discreta dove P ioè una probabilità un io (P io = P(un io) ) è determinato dalla formula:

La definizione di entropia di Shannon è legata al concetto di entropia termodinamica. Boltzmann e Gibbs hanno svolto un grande lavoro sulla termodinamica statistica che ha contribuito all'adozione della parola "entropia" nella teoria dell'informazione. Esiste una connessione tra entropia termodinamica ed informativa. Ad esempio, anche il demone di Maxwell si oppone all'entropia termodinamica dell'informazione, e la ricezione di qualsiasi quantità di informazione è uguale all'entropia perduta.

Definizione alternativa

Un altro modo per definire la funzione di entropia hè la prova che hè definito in modo univoco (come detto in precedenza) se e solo se h soddisfa le condizioni:

Proprietà

È importante ricordare che l'entropia è una quantità definita nel contesto di un modello probabilistico per un'origine dati. Ad esempio, il lancio di una moneta ha entropia - 2 (0,5 log 2 0,5) = 1 bit per lancio (a condizione che sia indipendente). Una sorgente che genera una stringa composta solo dalle lettere "A" ha entropia zero: ... Quindi, ad esempio, empiricamente si può stabilire che l'entropia di un testo inglese è di 1,5 bit per carattere, che ovviamente varierà per testi diversi. Il grado di entropia di un'origine dati indica il numero medio di bit per elemento di dati necessari per crittografarlo senza perdere informazioni, con una codifica ottimale.

1. Alcuni bit di dati potrebbero non trasportare informazioni. Ad esempio, le strutture dati spesso memorizzano informazioni ridondanti o hanno sezioni identiche indipendentemente dalle informazioni nella struttura dati.
2. La quantità di entropia non è sempre espressa come numero intero di bit.

Proprietà matematiche

Efficienza

L'alfabeto originale incontrato in pratica ha una distribuzione di probabilità che è tutt'altro che ottimale. Se l'alfabeto originale avesse n simboli, allora può essere confrontato con "l'alfabeto ottimizzato", la cui distribuzione di probabilità è uniforme. Il rapporto tra l'entropia dell'alfabeto originale e l'alfabeto ottimizzato è l'efficienza dell'alfabeto originale, che può essere espressa in percentuale.

Ne consegue che l'efficienza dell'alfabeto originale con n i simboli possono essere definiti semplicemente come uguali ad esso n-aria entropia.

L'entropia limita la compressione massima possibile senza perdite (o quasi senza perdite) che può essere ottenuta utilizzando un insieme teoricamente - tipico o, in pratica - la codifica di Huffman, la codifica di Lempel-Ziv-Welch o la codifica aritmetica.

Variazioni e generalizzazioni

entropia condizionale

Se i seguenti caratteri dell'alfabeto non sono indipendenti (ad esempio, in francese, dopo la lettera "q" è quasi sempre seguita da "u", e dopo la parola "leader" nei giornali sovietici solitamente seguita dalla parola "produzione" o "lavoro"), la quantità di informazione che porta la sequenza di tali simboli (e quindi l'entropia) è ovviamente minore. Per spiegare tali fatti, viene utilizzata l'entropia condizionale.

L'entropia condizionale del primo ordine (similmente per il modello di Markov del primo ordine) è l'entropia per l'alfabeto, dove sono note le probabilità dell'apparizione di una lettera dopo l'altra (cioè le probabilità di combinazioni di due lettere):

dove ioè uno stato dipendente dal carattere precedente, e P io (J) è la probabilità J, purché io era il personaggio precedente.

Quindi, per la lingua russa senza la lettera "".

Le entropie condizionali parziali e generali vengono utilizzate per descrivere completamente la perdita di informazioni durante la trasmissione dei dati in un canale rumoroso. Per questo, il cosiddetto matrici di canale... Quindi, per descrivere la perdita dalla sorgente (ovvero, il segnale inviato è noto), considera la probabilità condizionata di ricevere un simbolo dal ricevitore B J a condizione che il simbolo sia stato inviato un io... In questo caso, la matrice del canale ha la seguente forma:

Ovviamente, le probabilità situate sulla diagonale descrivono la probabilità di ricezione corretta e la somma di tutti gli elementi della colonna darà la probabilità della comparsa del simbolo corrispondente dal lato del ricevitore - P(B J) ... Perdita per segnale trasmesso un io, sono descritti attraverso l'entropia condizionale parziale:

Per calcolare la perdita di trasmissione per tutti i segnali, viene utilizzata l'entropia condizionale generale:

Significa l'entropia dal lato della sorgente, allo stesso modo è considerata - l'entropia dal lato del ricevitore: invece di ovunque è indicato (sommando gli elementi della stringa, puoi ottenere P(un io) , e gli elementi della diagonale indicano la probabilità che sia stato inviato esattamente il simbolo ricevuto, cioè la probabilità di trasmissione corretta).

Entropia reciproca

Entropia reciproca, o entropia dell'unione, è destinato al calcolo dell'entropia dei sistemi interconnessi (entropia della comparsa congiunta di messaggi statisticamente dipendenti) ed è indicato h(UNB) , dove UN, come sempre, caratterizza il trasmettitore, e B- il ricevente.

La relazione tra segnali trasmessi e ricevuti è descritta dalle probabilità di eventi congiunti P(un io B J) , ed è necessaria una sola matrice per descrivere completamente le caratteristiche del canale:

Per un caso più generale, quando non viene descritto un canale, ma semplicemente sistemi interagenti, la matrice non deve essere quadrata. Ovviamente la somma di tutti gli elementi della colonna numerata J darà P(B J) , la somma della linea con il numero io c'è P(un io) , e la somma di tutti gli elementi della matrice è uguale a 1. La probabilità congiunta P(un io B J) eventi un io e B J calcolato come il prodotto delle probabilità originarie e condizionate,

Le probabilità condizionate sono prodotte usando la formula di Bayes. Quindi, ci sono tutti i dati per calcolare le entropie della sorgente e del ricevitore:

L'entropia reciproca è calcolata per somma sequenziale in righe (o colonne) di tutte le probabilità della matrice moltiplicate per il loro logaritmo:

L'unità di misura è un bit / due caratteri, ciò è dovuto al fatto che l'entropia reciproca descrive l'incertezza per una coppia di caratteri - inviati e ricevuti. Per semplici trasformazioni si ottiene anche

L'entropia reciproca ha la proprietà completezza delle informazioni- da esso si ricavano tutti i valori considerati.

Storia

Note (modifica)

Guarda anche

Link

• Claude E. Shannon. Una teoria matematica di comunicazione
• S.M. Korotaev.