Inferenza classica (o frequentista, nata nel ’20 con Fisher): \(\epsilon\) è un esperimento aleatorio o casuale di cui non si conosce il risultato, facendo n prove indipendenti ottengo \(x = (x_1,x_2,...,x_n)\), una n-upla campionaria che contiene l’informazione campionaria, alla quale si aggiunge il principio del campionamento ripetuto che mi permette di passare dalla stima di un numero allo stimatore \(x \rightarrow X\).
L’inferenza bayesiana invece è più recente (anni’50, ’60 con Bayes): si utilizza ancora l’informazione campionaria \(x\) alla quale si aggiunge l’informazione pre-sperimentale, cioè si ha qualcosa in più prima di fare l’esperimento (uso il principio di verosimiglianza).
L’approccio bayesiano all’inferenza sta acquisendo un ruolo sempre più importante nella letteratura statistica: infatti è in continuo aumento il numero di elaborazioni di dati e studi in ambito medico-sanitario, economico-finanziario, socio-politico e nelle scienze sperimentali (si pensi ad esempio al modello bayesino ideato per le onde gravitazionali).
Il successo di questo approccio è iniziato più o meno negli anni 90 del secolo scorso questo perchè: la logica bayesiana è coerente e abbastanza intuitiva, nel corso degli anni sono via via aumentate le applicazioni statistiche in cui si presenta l’esigenza di tener conto di informazioni extra-sperimentali ma la ragione principale che ha portato ad una recente impennata nell’utilizzo di questi metodi è stato senza dubbio l’enorme sviluppo di nuove metodologie computazionali che consentono di analizzare modelli statistici molto complessi e computazionalmente onerosi.
Per introdurre i principali concetti (Prior e Posterior) facciamo subito un esempio preso dal libro: Introduction to Edwards, Lindman, and Savage (1963) Bayesian Statistical Inference for Psychological Research.
Il campione con prove indipendenti è \(\underline{x} = \{1,1, \space ... \space , 1 \}\) con \(n=10\), quindi la stima di massima verosimiglianza è la media campionaria: \[\hat{\theta}= \frac{\sum{x_i}}{n} = \frac{10}{10} = 1 \] è molto verosimile pensare che il parametro ignoto sia 1. Savage nel suo libro afferma che prima dell’esperimento ognuno ha una propria idea su quello che può essere il valore di \(\theta\).
Per aggiungere l’informazione pre-sperimentale al modello passo dalla funzione di verosimiglianza \( f ( x | \theta ) \)alla legge condizionata .
La legge della variabile \(\theta\) è detta legge a priori (o prior) \( \pi(\theta)\), dalla quale si può ricavare la legge di distribuzione congiunta:
\[\Psi (\underline x | \theta ) = f(\underline{x} | \theta) \pi(\theta) \]
Allora il modello statistico indotto è: \[ \{S_x \space ; \space \Psi (\underline x | \theta ) \space ; \space S_\theta = \Theta \} \]
Per calcolare la posterior ossia la legge di distribuzioni a posteriori uso la congiunta e il teorema di Bayes:
\[\pi(\underline{x} | \theta) = \frac{\Psi (\underline x | \theta )}{\int_{\Theta}{f(\underline{x} | \theta) \pi(\theta)}} = \frac{ f(\underline{x} | \theta) \pi(\theta)}{\int_{\Theta}{f(\underline{x} | \theta) \pi(\theta)}} = c \space f(\underline{x} | \theta) \pi(\theta) \]
Dove \(c\) corriponde alla costante di normalizzazione mentre il resto costituisce il nucleo della posterior.