-
Notifications
You must be signed in to change notification settings - Fork 0
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
- Loading branch information
1 parent
8b55d96
commit a5ada6d
Showing
2 changed files
with
59 additions
and
0 deletions.
There are no files selected for viewing
59 changes: 59 additions & 0 deletions
59
presentation/slides-svelte/static/presentation/new/metrics_evolution_LERC.md
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,59 @@ | ||
--- | ||
title: Evolution des métriques | ||
author: Léandre Catogni | ||
marp : true | ||
--- | ||
|
||
# Contexte : | ||
|
||
Les mesures d'évaluations permettent d'analyser les performances de prédictions d'un modèle, à l'aide d'un "test set". | ||
|
||
**Rappel :** | ||
|
||
Test set : Données dont on connaît les labels exacts, que l'on cachera afin de tester les prédictions faites par le modèle. | ||
|
||
--- | ||
# Définitions utiles : | ||
|
||
Dans le contexte multinomial considérons un label positif et des labels nétagifs (ie. ceux qui diffèrent du label positif), on a alors : | ||
|
||
- **True positive (TP)** : Labels positifs qui ont été correctement prédits comme tel | ||
- **False Positive (FP)** : Labels négatifs prédits comme positifs | ||
- **True negative (TN)** : Labels négatifs prédits comme négatifs | ||
- **False Negative (FN)** : Labels positfs prédits comme négatifs | ||
|
||
--- | ||
# Précision | ||
|
||
- **Intuition** : Proportion des prédictions positives correctes (TP) par rapport à toutes les prédictions positives (TP + FP). | ||
|
||
- **Cas multinomial** : Moyenne des précisions pour chaque label positif possible. | ||
|
||
- **Définition** : $\frac{1}{|L|}\cdot \sum_{l\in L}\frac{TP_l}{TP_l+FP_l}$ où L est l'ensemble des labels | ||
|
||
|
||
--- | ||
# Rappel : | ||
|
||
- **Intuition** : Proportion des prédictions positives correctes (TP) par rapport aux positifs réels (du test set) (TP + FN). | ||
- **Cas multinomial** : Moyenne des rappels pour chaque label positif possible. | ||
- **Définition Formelle** : $\frac{1}{|L|}\cdot \sum_{l\in L}\frac{TP_l}{TP_l+FN_l}$ où L est l'ensemble des labels | ||
|
||
|
||
|
||
--- | ||
# F1 score : | ||
|
||
- **Intuition** : Combinaison de la précision et du rappel (moyenne harmonique) | ||
|
||
- **Définition** : $\frac{2}{rappel^{-1} + precision^{-1}} = 2\cdot \frac{precision \cdot rappel }{precision + rappel}$ | ||
|
||
|
||
|
||
|
||
--- | ||
# Accuracy : | ||
|
||
- **Intuition** : Proportion des pŕédictions correctes parmi l’ensemble total des prédictions. | ||
|
||
- **Définition** : $\frac{\text{Nombre de predictions correctes}}{\text{Nombre total de prediction}}=\frac{TP + TN}{TP + TN + FP + FN}$ |
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.