L’estimation bayésienne des paramètres (BPE) est fondamentalement différente de MLE ou MAP. Alors que ces deux dernières cherchent un ensemble optimal de paramètres $\hat{\mathbf{\theta }}$ pour le modèle, BPE traite $\mathbf{\theta }$ comme une variable aléatoire avec une distribution $p(\mathbf{\theta })$.

Configuration

On dispose d’un ensemble de données $\mathcal{D}$, qui contient $n$ caractéristiques i.i.d. ${\mathbf{x}}_j$. Étant donné un nouveau vecteur de caractéristiques $\mathbf{x}$, nous voulons le classer dans une classe $\omega$. Une façon de le faire est d’utiliser la règle de décision de Bayes. C’est-à-dire, nous choisissons la classe ${\omega }_j$ plutôt que la classe ${\omega }_i$ si

où ${\mathcal{D}}_j$ ne contient que les caractéristiques appartenant à la classe ${\omega }_j$, et vice versa. Nous ne pouvons pas directement résoudre cela sans supposer une structure supplémentaire pour la distribution sous-jacente.

Supposons donc que la distribution $p(\mathbf{x}|{\mathcal{D}}_j)$ est entièrement décrite par un modèle paramétré uniquement par $\mathbf{\theta }$, une variable aléatoire. Cette distribution nous indique la probabilité de trouver $\mathbf{x}$ s’il appartenait à la classe ${\omega }_j$. À partir de maintenant, j’omets l’indice sur ${\mathcal{D}}_j$ par souci de concision. Nous observons alors que

Cela est beaucoup plus gérable. Nous pouvons calculer $p(\mathbf{x}|\mathbf{\theta })$ en insérant $\mathbf{x}$ dans notre modèle supposé. $p(\mathbf{\theta }|\mathcal{D})$ peut également être calculé puisque

En résumé, nous avons conçu une méthode qui nous donne une vraisemblance pour $\mathbf{x}$, moyennée sur tous les paramètres possibles $\mathbf{\theta }$, pondérée par l’a priori et la vraisemblance de $\mathbf{\theta }$ étant donné les données conditionnelles de classe $\mathcal{D}$.

Cas Gaussien

Dans le cas où notre modèle est une Gaussienne, avec une moyenne $\mathbf{\mu }$ de distribution $p(\mathbf{\mu })$ et une covariance connue $\mathbf{\Sigma }$, BPE est assez facile à calculer. Dans ce cas, notre ensemble de paramètres se compose uniquement de $\mathbf{\mu }$.

Nous supposons ce qui suit :

1. $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$. C’est-à-dire, notre modèle est valide pour chaque classe.

2. $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$. Ici, ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ sont notre “meilleure estimation” de la forme de chaque distribution conditionnelle de classe, avant de voir les données.

En gardant à l’esprit que notre objectif est de calculer $p(\mathbf{x}|\mathcal{D})$, nous devons d’abord trouver $p(\mathbf{\mu }|\mathcal{D})$. D’après le théorème de Bayes :

En insérant les formules gaussiennes :

où

Par conséquent, $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$.

Pour compléter l’exercice, nous devons trouver $p(\mathbf{x}|\mathcal{D})$. Puisque $\mathbf{x}|\mathbf{\mu }\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, nous pouvons exprimer $\mathbf{x}=\mathbf{\mu }+\mathbf{ϵ}$. Il est évident que $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{\Sigma })$. Alors $\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$.

Il s’avère donc qu’avec cette méthode, nous n’avons pas besoin d’évaluer une intégrale du tout !

En Résumé

• $p(\mathbf{\mu })\sim \mathcal{N}({\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$, où ${\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0$ sont “estimés”
• $p(\mathbf{x}|\mathbf{\mu })\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, où $\mathbf{\mu },\mathbf{\Sigma }$ sont les statistiques conditionnelles de classe calculées à partir de $\mathcal{D}$
• $p(\mathbf{\mu }|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n)$
• $p(\mathbf{x}|\mathcal{D})\sim \mathcal{N}({\mathbf{\mu }}_n,{\mathbf{\Sigma }}_n+\mathbf{\Sigma })$. Cette fonction est utilisée pour la règle de décision de Bayes