Calculatrices : Statistiques et probabilités

Toute analyse doit commencer par l'étude de la distribution des données. Une moyenne nettement supérieure à la médiane indique un étalement vers la droite ; deux modes révèlent souvent le mélange de deux populations distinctes ; un écart-type de l'ordre de grandeur de la moyenne montre que celle-ci ne décrit rien de représentatif. Ces vérifications rapides modifient fréquemment le choix des méthodes.

Le réflexe qui évite la plupart des erreurs statistiques consiste à tracer les données avant tout calcul. Le quartet d'Anscombe, constitué de quatre jeux de données aux moyennes, variances et corrélations identiques mais aux graphiques totalement divergents, est la preuve concrète que les indicateurs numériques seuls ne suffisent pas à valider l'ajustement d'un modèle.

La précision augmente avec la racine carrée de la taille de l'échantillon, et non de manière proportionnelle à celle-ci. Doubler la taille d'un sondage ne réduit sa marge d'erreur que de 29 % ; diviser cette marge par deux nécessite quatre fois plus de données. Cette relation fondamentale explique pourquoi les sondages nationaux se stabilisent autour d'un millier de répondants, pourquoi les tests A/B exigent bien plus de trafic que prévu, et pourquoi chercher à gagner le dernier point de pourcentage devient vite très coûteux.

Cela explique aussi pourquoi la taille totale de la population importe peu. Au-delà d'une vingtaine de milliers d'individus, la taille d'échantillon requise reste pratiquement la même. Échantillonner une ville ou un continent entier coûte la même chose, ce qui constitue l'une des réalités les plus contre-intuitives du domaine.

Un intervalle de confiance à 95 % caractérise la méthode employée, et non l'intervalle particulier obtenu : en répétant l'échantillonnage de nombreuses fois, environ 95 % des intervalles produits contiendraient la valeur réelle. Une corrélation peut signifier que X cause Y, que Y cause X, ou qu'une tierce variable influence les deux. Une valeur p représente uniquement la probabilité d'obtenir des données aussi extrêmes si l'hypothèse nulle était vraie, et rien de plus.

Les hypothèses des modèles imposent les mêmes précautions. Les percentiles basés sur la loi normale nécessitent des données distribuées de manière approximativement normale. Les probabilités binomiales supposent des épreuves indépendantes avec un taux de succès constant. La méthode des moindres carrés accorde une confiance aveugle à une simple coquille de saisie. Identifier l'hypothèse centrale en jeu fait toute la différence entre un calcul mécanique et une conclusion solide.