Interpréter les statistiques avec R et Python
Intro à marginaleffects
Présentation:
https://arelbundock.com/precrisa.html
Code pour l’atelier:
https://arelbundock.com/precrisa.R
Données:
Qui suis-je?
- Science Politique, UdeM
- Associate Editor R Journal
- Librairies R et Python depuis 2009:
marginaleffectsmodelsummarytinytablecountrycode- etc.
tinytable
modelsummary
marginaleffects.com
3 problèmes
- Terminologie
- Disciplines
- Incohérences
- Contradictions
Rest incohérent- Librairies
- Syntaxe
- Modèles
- Objets
- Statistiques = Difficile
Statistiques = Difficile
Difficile
\[ P_{X=1}=Pr(Y=1|X=1) \]
Peu de nuances:
- Grosse probabilité \(\approx 1\)
- Petite probabilité \(\approx 0\)
- Entre les deux: 50/50
Kahneman & Tversky (1979), Nickerson (2004), etc.
Ultra difficile
Odds (chances):
\[ \frac{P_{X=1}}{1 - P_{X=1}} \]
Difficile
\[ P_{X=1}=Pr(Y=1|X=1) \]
Peu de nuances:
- Grosse probabilité \(\approx 1\)
- Petite probabilité \(\approx 0\)
- Entre les deux: 50/50
Kahneman & Tversky (1979), Nickerson (2004), etc.
Impossible
Odds ratio:
\[ \frac{P_{X=1}}{1 - P_{X=1}} / \frac{P_{X=0}}{1 - P_{X=0}} \]
Exemple: Thornton (2008)
Demand for, and Impact of, Learning HIV Status. American Economic Review.
RCT dans les zones rurales du Malawi
- Tests gratuits pour le VIH à la maison.
- Traitement aléatoire:
- 2$ pour récupérer le résultat du test à la clinique
- Résultats:
- \(Pr(Result=1)\) est doublée par le traitement
- Apprendre un résultat positif augmente la demande de préservatifs
Exemple: Thornton (2008)
| (1) | |
|---|---|
| (Intercept) | -1.297 |
| (0.176) | |
| incentive | 2.005 |
| (0.100) | |
| age | 0.010 |
| (0.003) | |
| distance [Medium] | 0.193 |
| (0.132) | |
| distance [Short] | 0.484 |
| (0.126) | |
| Num.Obs. | 2825 |
| AIC | 3041.4 |
| BIC | 3071.1 |
| Log.Lik. | -1515.693 |
| F | 103.281 |
| RMSE | 0.42 |
Statistiques = Difficiles
\(P_{X=1}\)=Difficile
Impossible:
\[\ln \left[ \left (\frac{P_{X=1}}{1-P_{X=1}}\right ) / \left (\frac{P_{X=0}}{1-P_{X=0}} \right ) \right]\]
- Signe et signification = insuffisant
- Interactions, splines, logit multinomial ou XGBoost?
¯\_(ツ)_/¯
| (1) | |
|---|---|
| (Intercept) | -1.297 |
| (0.176) | |
| incentive | 2.005 |
| (0.100) | |
| age | 0.010 |
| (0.003) | |
| distance [Medium] | 0.193 |
| (0.132) | |
| distance [Short] | 0.484 |
| (0.126) | |
| Num.Obs. | 2825 |
| AIC | 3041.4 |
| BIC | 3071.1 |
| Log.Lik. | -1515.693 |
| F | 103.281 |
| RMSE | 0.42 |
Solution: Transformations post-hoc
Focus: Quantités statistiques intuitives
- Ignorer les coefficients
- Transformer les coefficients
- Prédictions
- Comparer les prédictions contrefactuelles
Solution: marginaleffects 📦
Guichet unique pour l’interprétation des modèles statistiques et d’apprentissage automatique :
- 100+ types de modèles
- Interface simple et unifiée
- Cadre conceptuel clair
- Ultra flexible
Livre en ligne gratuit avec plus de 30 chapitres et études de cas :
Solution: marginaleffects 📦
- Bayes, GAM, Effets mixtes, etc.
- Inférence causale
- Variable dépendante catégorielle
- Prédiction conforme
- Tests d’équivalence
- Interactions
- Expériences conjointes
- Inverse probability weighing
- Apprentissage automatique
- Matching
- Régression multi-niveau
- Post-stratification
- Imputation multiple
- etc.
Plan de match
- Tests d’hypothèse nulle
- Prédictions
- Comparaisons contrefactuelles
Tests d’hypothèse nulle
Peut-on rejeter l’hypothèse nulle qu’un coefficient – ou une fonction de coefficients – est égal à une valeur \(H_0\)?
hypotheses()
Coefficients logit:
(Intercept) incentive age distanceMedium distanceShort
-1.297433301 2.005157150 0.009644433 0.192817773 0.484206558 Fonctions complexes ou non-linéaires
Pertinent? Probablement pas. Flexible? Oui!
Même mécanisme dans toutes les fonctions marginaleffects
Applicable pour comparer toutes les quantités estimées par la librairie:
- Prédictions (fitted values)
- Comparisons contrefactuelles
- Risk difference
- Risk ratio
- Average treatment effects (on the treated)
- Pentes (dérivées partielles, effets marginaux)
À vous!
https://arelbundock.com/precrisa.R
Predictions
Définition: Prédiction
Résultat prédit par un modèle sur une échelle spécifiée pour une combinaison donnée de valeurs des variables prédictrices.
“fitted values”
predictions(), avg_predictions(), plot_predictions()
Régression logistique en 2 étapes
- Spécifier une équation linéaire : l’échelle de “liaison” (“link” scale)
\[\beta_1 + \beta_2 X + \beta_3 Z\]
- Utiliser une fonction pour faire correspondre l’équation linéaire à l’échelle de réponse : \([0,1]\)
\[P(Y=1) = \phi (\beta_1 + \beta_2 X + \beta_3 Z),\]
Où \(\phi\) est la fonction logistique :
\[P(Y=1) = \frac{1}{1 + e^{-(\beta_1 + \beta_2 X + \beta_3 Z)}}\]
Prédiction : Incitatif, 30 ans, Short distance
\[ P(Result=1) = \phi (\beta_1 + \beta_2 Incentive + \beta_3 Age + \beta_4 Medium + \beta_5 Short)\\ \]
Prédiction (fitted value):
\[ \widehat{P(Result=1)} = \phi (\hat{\beta}_1 + \hat{\beta}_2 \cdot 1 + \hat{\beta}_3 \cdot 30 + \hat{\beta}_4 \cdot 0 + \hat{\beta}_5 \cdot 1), \]
predictions() et datagrid()
Plus qu’un individu à la fois
- Vecteurs ou fonctions qui renvoient des vecteurs
- Les variables non-définies sont maintenues à leurs moyennes ou modes
Prédictions pour tous les individus observés
Estimate Pr(>|z|) S 2.5 % 97.5 %
0.818 <0.001 324.3 0.796 0.838
0.798 <0.001 198.3 0.770 0.823
0.852 <0.001 179.6 0.822 0.878
0.795 <0.001 177.1 0.766 0.822
0.853 <0.001 173.6 0.823 0.879
--- 2815 rows omitted. See ?avg_predictions and ?print.marginaleffects ---
0.729 <0.001 60.7 0.684 0.769
0.315 <0.001 22.4 0.256 0.381
0.738 <0.001 68.1 0.694 0.777
0.240 <0.001 47.0 0.191 0.297
0.253 <0.001 47.0 0.204 0.307Prédiction moyenne
Calculer les prédictions pour 2825 :
Prendre leur moyenne :
Ou :
Prédictions moyennes par sous-groupe : by
Tests d’hypothèse nulle 💀🔪🩸✨📈
Est-ce que la probabilité prédite moyenne de récupérer son résultat est la même dans le groupe “Short” et le groupe “Long”?
Erreur et intervalles
- Huber-White
- Cluster
- Bootstrap
- Simulation
plot_predictions()
- Plus âgé -> Haute probabilité d’aller chercher son résultat
- Plus loin -> Faible probabilité
100+ modèles;
même syntaxe!
Linéaire, GLM, GAM, Multi-niveau, Bayesien, etc.
À vous!
https://arelbundock.com/precrisa.R
Comparaisons
contre-factuelles
Comparaison contre-factuelle
Comparer les prédictions faites par un modèle pour différentes valeurs d’une variable explicative (p. ex., diplômés du collège vs. autres) :
Exemples: Contrastes, différences, rapports de risque (risk ratios), cotes (odds), hausse (lift), etc.
comparisons(), avg_comparisons(), plot_comparisons()
Comparaison contre-factuelle
Supposons:
- \(\hat{Y}_{X=1}\) est la probabilité prédite pour \(Y=1\) quand \(X=1\)
- \(\hat{Y}_{X=0}\) est…
Nombreuses quantités d’intérêt :
- Risk difference: \(\hat{Y}_{X=1} - \hat{Y}_{X=0}\)
- Risk ratio: \(\frac{\hat{Y}_{X=1}}{\hat{Y}_{X=0}}\)
- Odds ratio: \(\log\left(\frac{\hat{Y}_{X=1}}{1 - \hat{Y}_{X=1}}\right) - \log\left(\frac{\hat{Y}_{X=0}}{1 - \hat{Y}_{X=0}}\right)\)
Comparaison contre-factuelle
Les quantités mentionnées plus haut sont conditionnelles.
Estimés différents pour différentes valeurs des prédicteurs. Ex: La “Risk Difference” pour un homme de 30 ans est différente de celle pour une femme de 50 ans.
Il faut définir les valeurs des variables de contrôle qui nous intéressent. Comme avec les prédictions.
Différence de risques
En moyenne, est-ce que passer de 0 à 1 sur la variable incentive augmente la probabilité de result=1?
Un individu de 30 ans qui habite à près du centre :
\[\hat{Y}_{I=1, A=30, D=S} - \hat{Y}_{I=0, A=30, D=S}\]
Différence de risques pour toutes les observations
Estimate Std. Error z Pr(>|z|) S 2.5 % 97.5 %
0.441 0.0216 20.4 <0.001 305.4 0.399 0.484
0.451 0.0213 21.1 <0.001 326.6 0.409 0.493
0.415 0.0247 16.8 <0.001 209.0 0.367 0.464
0.452 0.0213 21.2 <0.001 329.4 0.410 0.494
0.414 0.0249 16.6 <0.001 204.0 0.365 0.463
--- 2815 rows omitted. See ?avg_comparisons and ?print.marginaleffects ---
0.463 0.0196 23.6 <0.001 405.8 0.425 0.502
0.459 0.0214 21.4 <0.001 335.1 0.417 0.501
0.463 0.0199 23.3 <0.001 395.3 0.424 0.502
0.461 0.0192 24.0 <0.001 420.6 0.423 0.499
0.463 0.0194 23.9 <0.001 416.8 0.425 0.500
Term: incentive
Comparison: 1 - 0Moyenne des différences de risques
Estimate Std. Error z Pr(>|z|) S 2.5 % 97.5 %
0.449 0.0209 21.5 <0.001 338.3 0.408 0.489
Term: incentive
Comparison: mean(1) - mean(0)aka:
- Average Treatment Effect (ATE)
- G-Computation
Moyenne des différences de risques par groupe
distance Estimate Std. Error z Pr(>|z|) S 2.5 % 97.5 %
Long 0.461 0.0199 23.1 <0.001 390.8 0.422 0.500
Medium 0.457 0.0208 22.0 <0.001 353.9 0.417 0.498
Short 0.439 0.0216 20.3 <0.001 302.3 0.397 0.481
Term: incentive
Comparison: mean(1) - mean(0)Moyenne des différences de risques par groupe
Estimate Std. Error z Pr(>|z|) S 2.5 % 97.5 %
0.450 0.0208 21.6 <0.001 340.8 0.409 0.490
0.448 0.0209 21.5 <0.001 337.6 0.407 0.489
Term: incentive
Comparison: mean(1) - mean(0)aka:
- Average Treatment Effect on the Treated (ATT)
- Average Treatment Effect on the Un-Treated (ATU)
Prédicteurs numériques
Quel est l’effet d’une augmentation de age de…
- 5 unités?
- 1 écart-type?
- Mouvement entre deux valeurs spécifiques ?
Prédicteurs numériques
Prédicteurs catégoriels
Exemple de différents contrastes avec la variable distance :
Ratio de risque
\[\frac{\hat{Y}_{I=1, A=30, D=S}}{\hat{Y}_{I=0, A=30, D=S}}\]
Comparaison personnalisée
\[\log\left(\frac{\hat{Y}_{I=1,A=30,D=S}}{1 - \hat{Y}_{I=1,A=30,D=S}}\right) - \log\left(\frac{\hat{Y}_{I=0,A=30,D=S}}{1 - \hat{Y}_{I=0,A=30,D=S}}\right)\]
Tests d’hypothèse nulle 💀🔪🩸✨📈
Effet de traitement moyen pour les individus à différentes distance:
- Hétérogénéité
- Intéraction
- Modification
Tests d’hypothèse nulle 💀🔪🩸✨📈
Effet de traitement moyen pour les individus à différentes distance:
Est-ce que l’effet de incentive est plus fort pour ceux qui habitent loin (Long) que pour ceux qui habitent près (Short)?
\[\beta_1 - \beta_3 = 0\]
Tests d’hypothèse nulle 💀🔪🩸✨📈
Oui!
plot_comparisons(): 1 condition
Quel est l’“effet” de incentive sur result, à différents niveaux de distance ?
marginaleffects.com
À vous!
https://arelbundock.com/precrisa.R