Skip to content

Commit

Permalink
fixed typo
Browse files Browse the repository at this point in the history
  • Loading branch information
David-Kyrat committed Feb 2, 2024
1 parent b10c521 commit 1b75dd7
Show file tree
Hide file tree
Showing 11 changed files with 7 additions and 168,211 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -59,7 +59,7 @@ $\Rightarrow$ `Negative Logarithm Likelihood`

## Généralisation de la fonction sigmoïde en fonction softmax

$$P(Y = k | X) = \frac{1}{1 + e{-X \theta^T}}\ \rightarrow \ \frac{e^{X \theta_k^T}}{\sum_i^N e^{X \theta_i^T}}$$
$$P(Y = k | X) = \frac{1}{1 + e^{-X \theta^T}}\ \rightarrow \ \frac{e^{X \theta_k^T}}{\sum_i^N e^{X \theta_i^T}}$$

---

Expand Down
12 changes: 6 additions & 6 deletions presentation/slides-svelte/static/presentation/bayes_NM.md
Original file line number Diff line number Diff line change
Expand Up @@ -40,31 +40,31 @@

- $P(cause | \text{effet}) = \frac{P(\text{effet} | cause) P(cause)}{P(\text{effet})}$

- $P(class | \text{donnée}) = \frac{P(\text{donnée} | class) P(class)}{P(\text{donnée})} = \frac{P(\mathbf{x} | y) P(y)}{P(\mathbf{x})}$
- $P(class | \text{donnée}) = \frac{P(\text{donnée} | class) P(class)}{P(\text{donnée})} = \frac{P(\mathbf{x} | y) P(y)}{P(\mathbf{x})} = P(y | \mathbf{x})$

- On aimerait (intuitivement): Calculer les probabilités que notre label ait telle ou telle classe connaissant notre sample, et prendre le max
$\tilde{y}$ i.e. $$\tilde{y} = \text{arg}\max_{y \in \mathcal{Y}} P(y | \mathbf{x})$$

- Ici on part du principe qu'on connaît $\mathbf{x}\ \Rightarrow$ perd principe de la prédiction puisque ça impose le fait que l'on doit avoir déjà observé <u>*exactement*</u> ce $\mathbf{x}$.

- On utilise que, le $y$ qui maximise la formule du théorème de bayes est aussi le $y$ qui maximise $P(\mathbf{x}|y)P(y)$, (car $P(y|x) \propto P(x)P(y)$)
- On utilise le fait que, le $y$ qui maximise $P(y|\mathbf{x})$, est aussi le $y$ qui maximise $P(\mathbf{x}|y)P(y)$

---

## Naive Bayes - Conclusion

- $\tilde{y} = \text{arg}\max_{y \in \mathcal{Y}} P(y | \mathbf{x})$
- $\displaystyle \tilde{y} = \text{arg}\max_{y \in \mathcal{Y}}\ P(y | \mathbf{x})$

- $P(y|x) \propto P(x)P(y)$
- $P(y|\mathbf{x}) \propto P(\mathbf{x}|y)P(y)$

- Donc $\tilde{y} = P(\mathbf{x}|y)P(y)$
- Donc $\displaystyle \tilde{y} = \text{arg}\max_{y \in \mathcal{Y}}\ P(\mathbf{x}|y)P(y)$
- Sepal length $\perp$ sepal width $\perp$ petal length $\perp$ petal width (Hypthèse d'indépendence naïve)
- $$
P(\mathbf{x} | y) = P(x_1 | y) \prod_{k=2}^K P(x_k | x_{k-1}, \cdots, x-1, y) =
P(x_1 | y) \prod_{k=2}^K P(x_k | y) = \prod_{k=1}^K P(x_k | y)
$$
- En on conclut donc que $$\boxed{\tilde{y} =
\text{arg}\max_{y \in \mathcal{Y}}\left[ \prod_{k=1}^K P(x_k | y) \right]}
\text{arg}\max_{y \in \mathcal{Y}}\left[P(y) \cdot \prod_{k=1}^K P(x_k | y) \right]}
$$
- On prédit la classe $\tilde{y}$ d'un sample $\mathbf{x}$, en calculant le maximum de la probabilité conditionnelle $P(\mathbf{x} | classe)$ pour chaque classe.
Expand Down
Loading

0 comments on commit 1b75dd7

Please sign in to comment.