Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Chapitre II Régression linéaire multiple Licence 3 MIASHS - Université de Borde

Chapitre II Régression linéaire multiple Licence 3 MIASHS - Université de Bordeaux Marie Chavent Chapitre 2 Régression linéaire multiple 1/40 Un exemple On cherche à modéliser la relation entre poids des bébés à naissance et l’âge, le poids et le statut tabagique de la mère durant la grossesse. On pose : - y = poids de naissance en grammes (bwt), - x1 = âge de la mère (age), - x2 = poids de la mère en kilos (weight), - x3 = statut tabagique de la mère pendant la grossesse (smoke) codée 1=oui et 0=non. On suppose que cette relation est linéaire de la forme : y = β0 + β1x1 + β2x2 + β3x3 On veut estimer cette relation avec un modèle de régression multiple. On utilise un échantillon de n = 1174 naissances pour lesquelles le poids du bébé, l’âge, le poids et le statut tabagique de la mère, ont été mesurés. Chapitre 2 Régression linéaire multiple 2/40 load("poids.RData") print(data[1:5,c("bwt","age","weight","smoke")],digits=4) ## bwt age weight smoke ## 1 3402 27 45.36 0 ## 2 3203 33 61.23 0 ## 3 3629 28 52.16 1 ## 4 3062 23 56.70 1 ## 5 3856 25 42.18 0 pairs(data) #diagrammes de dispersion bwt 150 250 350 15 25 35 45 40 80 1500 3500 150 250 350 gestation parity 0.0 0.4 0.8 15 25 35 45 age height 140 170 40 80 weight 1500 3500 0.0 0.4 0.8 140 170 0.0 0.4 0.8 0.0 0.4 0.8 smoke modele <- lm(bwt~ age+weight+smoke,data=data) modele$coefficients ## (Intercept) age weight smoke ## 3050.56238 -0.91802 7.90266 -254.25425 Chapitre 2 Régression linéaire multiple 3/40 1. Le modèle On cherche à modéliser la relation entre plus de 2 variables quantitatives. Un modèle de régression linéaire multiple est de la forme suivante : y = β0 + p X j=1 βjxj + ε (1) où : - y est la variable à expliquer (à valeurs dans R) ; - x1, . . . , xp sont les variables explicatives (à valeurs dans R) ; - ε est le terme d’erreur aléatoire du modèle ; - β0, β1, . . . , βp sont les paramètres à estimer. Commentaires : - La désignation “multiple” fait référence au fait qu’il y a plusieurs variables explicatives xj pour expliquer y. - La désignation “linéaire” correspond au fait que le modèle (1) est linéaire. Chapitre 2 Régression linéaire multiple 4/40 Pour n observations, on peut écrire le modèle de régression linéaire multiple sous la forme : yi = β0 + p X j=1 βjxij + εi pour i = 1, . . . , n. (2) Dans ce chapitre, on suppose que : - εi est une variable aléatoire, non observée, - xij est observé et non aléatoire, - yi est observé et aléatoire. On fait les trois hypothèses additionnelles suivantes : (A1) E[εi] = 0, ∀i = 1, . . . , n, ou de manière équivalente : E[yi] = β0 + Pp j=1 βjxij, ∀i = 1, . . . , n. Commentaire sur l’hypothèse (A1) : elle indique que les erreurs sont centrées Chapitre 2 Régression linéaire multiple 5/40 (A2) V(εi) = σ2, ∀i = 1, . . . , n, ou de manière équivalente : V(yi) = σ2, ∀i = 1, . . . , n. Commentaires sur l’hypothèse (A2) : - On parle d’hypothèse d’homoscédasticité (≃homogénéité des variances). - Cette variance σ2 est un paramètre du modèle qu’il faudra estimer. (A3) Cov(εi, εi′) = 0, ∀i ̸= i′ ou de manière équivalente : Cov(yi, yi′) = 0, ∀i ̸= i′. Commentaire sur l’hypothèse (A3) : - Sous cette hypothèse, les termes d’erreur εi sont non corrélés. Chapitre 2 Régression linéaire multiple 6/40 On peut écrire matriciellement le modèle (2) de la manière suivante : Y = Xβ + ϵ (3) où Y =             y1 y2 . . . yn             , X =             1 x11 . . . x1p 1 x21 . . . x2p . . . . . . . . . 1 xn,1 . . . xnp             , β =             β0 β1 . . . βp             , et ϵ =             ε1 ε2 . . . εn             . - Y désigne le vecteur à expliquer de taille n, - X la matrice explicative de taille n × (p + 1), - ϵ le vecteur d’erreurs de taille n. Exercice : Touver X et Y pour les données sur les appartements. Chapitre 2 Régression linéaire multiple 7/40 Les hypothèses peuvent alors s’écrire sous forme matricielle : (A1’) E(ϵ) = 0n ou de manière équivalente : E(Y ) = Xβ ∈Rn. (A2’) V(ϵ) = σ2In ou de manière équivalente : V(Y ) = σ2In. Dans la suite de ce chapitre, on suppose que n > (p + 1) et rang(X) = p + 1 On a donc plus d’observations que de variables et il n’existe pas de liaison linéaire entre les variables explicatives xj c’est à dire pas de multicolinéarité. Chapitre 2 Régression linéaire multiple 8/40 Remarque. Il est important de bien faire la diﬀérence entre - l’expression E(yi) = β0 + Pp j=1 βjxij (qui désigne l’espérance d’une variable aléatoire scalaire), et l’expression E(Y ) = Xβ (qui désigne l’espérance d’une variable aléatoire vectorielle) : on obtient dans un cas un scalaire, dans l’autre cas un vecteur de Rn. - l’expression V(yi) = σ2 (qui désigne la variance d’une variable aléatoire scalaire), et l’expression V(Y ) = σ2In (qui désigne la covariance d’une variable aléatoire vectorielle) : on obtient dans un cas un scalaire (σ2), dans l’autre cas une matrice carrée (σ2In) de dimension n × n. Chapitre 2 Régression linéaire multiple 9/40 2. Estimation des paramètres β0, β1, . . . , βp, et σ2 A partir de l’echantillon (aléatoire) de n observations {(xi1, . . . , xip, yi), i = 1, . . . , n}, on veut estimer les paramètres β0, β1, . . . , βp et σ2. - Pour estimer β = (β0, β1, . . . , βp), on peut utiliser la méthode des moindres carrés qui ne nécessite pas d’hypothèse supplémentaire sur la distribution de εi, contrairement à la méthode du maximum de vraisemblance qui est fondée sur la normalité de εi. - La méthode des moindres carrés ne fournit pas un estimateur de σ2. Chapitre 2 Régression linéaire multiple 10/40 Estimation de β par les moindres carrés On cherche b β ∈Rp+1 qui minimise la somme des erreurs quadratiques ε2 i = (yi −β0 −β1xi1 −. . . −βpxip)2 On doit donc résoudre le problème d’optimisation suivant : b β = arg min β∈Rp+1 n X i=1 [yi −(β0 + p X j=1 βjxij)]2. (4) Vocabulaire : - ˆ yi = b β0 + Pp j=1 b βjxij est appelé la valeur prédite. - ˆ εi = yi −ˆ yi est appelé le résidu. En notant xT i = (1, xi1, . . . , xip), la valeur prédite ˆ yi s’écrit ˆ yi = xT i b β. Chapitre 2 Régression linéaire multiple 11/40 Résolution du problème d’optimisation Le problème d’optimisation est : min β∈Rp+1 F(β), avec F(β) = n X i=1 [yi −(β0 + p X j=1 βjxij)]2 = (Y −Xβ)T(Y −Xβ) = Y TY −2Y TXβ + βTX TXβ Le minimum est atteint pour ∂F(β) ∂β = 0. Rappels. Soient a et x deux vecteurs de dimension K, et soit A une matrice de dimension K × K. On a : ∂aT x ∂x = ∂xT a ∂x = a et ∂xT Ax ∂x = 2Ax si A est symétrique,. Chapitre 2 Régression linéaire multiple 12/40 Solution du problème d’optimisation On en déduit après quelques manipulations : b β = (X TX)−1X TY , (5) sous réserve que X TX soit inversible. Commentaires - Le minimum de F est égal à Pn i=1 ˆ ε2 i . Ce minimum est appelé la somme des carrés des résidus (SCR). - La valeur prédite b yi estime E[yi] = β0 + Pp j=1 βjxij et non pas yi. Une meilleure notation serait d E[yi]. - Aucune des hypothèses n’a été utilisée ici pour obtenir b β. Chapitre 2 Régression linéaire multiple 13/40 Propriétés de b β Sous les hypothèses (A1’) et (A2’), on peut montrer que - E[b β] = β, - V(b β) = σ2(X TX)−1 Commentaires - L’estimateur b β est sans biais. - Il est aussi de variance minimale parmi tous les estimateurs linéaires par rapport à Y ) sans uploads/s3/ multiples.pdf