Lineare Einfachregression

Beispiel einer konkreten empirischen Regressionsgerade einer linearen Einfachregression

Die einfache lineare Regression (kurz: ELR), oder auch lineare Einfachregression (selten univariate lineare Regression) ist in der Regressionsanalyse ein statistisches Analyseverfahren und ein Spezialfall der linearen Regression. Bei der einfachen linearen Regression wird eine abhängige Variable lediglich durch eine unabhängige Variable erklärt. Ziel der einfachen linearen Regression ist die Schätzung der zwei Regressionsparameter (Niveauparameter und Steigungsparameter), sowie die Schätzung der Fehlervarianz. Die einfache lineare Regression findet in der Praxis kaum Anwendung, da eine einzige unabhängige Variable nicht viel zu erklären vermag. Dennoch hat sie eine große theoretische Bedeutung.

Einführung in die Problemstellung

Das Ziel einer Regression ist es, eine abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären. Bei der einfachen linearen Regression wird eine abhängige Variable lediglich durch eine unabhängige Variable erklärt. Das einfache lineare Regressionsmodell geht daher von zwei metrischen Größen aus: einer Einflussgröße $X$ (auch: exogene Variable, erklärende Variable, Regressor oder unabhängige Variable) und einer Zielgröße $Y$ (auch: endogene Variable, abhängige Variable, erklärte Variable oder Regressand). Des Weiteren liegen $n$ Paare $(x_{1},y_{1}),\dotsc ,(x_{n},y_{n})$ von Messwerten vor (die Darstellung der Messwerte $(x_{1},y_{1}),\dotsc ,(x_{n},y_{n})$ im $x$-$y$-Diagramm wird im Folgenden Streudiagramm bezeichnet), die in einem funktionalen Zusammenhang stehen, der sich aus einem systematischen und einem stochastischen Teil zusammensetzt:

$Y_{i}=\underbrace {m(x_{i})} _{\text{systematische Komponente}}+\underbrace {U_{i}} _{\text{stochastische Komponente}}$

Die stochastische Komponente beschreibt nur noch zufällige Einflüsse (z. B. zufällige Abweichungen wie Messfehler), alle systematischen Einflüsse sind in der systematischen Komponente enthalten. Die einfache lineare Regression stellt den Zusammenhang zwischen der Einfluss- und der Zielgröße mithilfe von zwei Parametern $\beta _{0}$ und $\beta _{1}$ auf lineare Weise her, d. h. die Regressionsfunktion $m$ wird wie folgt spezifiziert:

$m(x_{i})=\beta _{0}+\beta _{1}x_{i}$ (Linearität)

Bei der einfachen linearen Regression

$Y_{i}=\beta _{0}+\beta _{1}x_{i}+U_{i}$

Repräsentationen:

• $Y_{i}$: endogene Zufallsvariable
• $x_{i}$: beobachtbare, nicht zufällige, bekannte erklärende Variable
• $\beta _{0},\beta _{1}$: sind unbekannte skalare Parameter
• $U_{i}$: unbeobachtbare Zufallsvariable

wird also eine Gerade so durch das Streudiagramm gelegt, dass der lineare Zusammenhang zwischen $X$ und $Y$ möglichst gut beschrieben wird.

Einführendes Beispiel

Eine renommierte Sektkellerei möchte einen hochwertigen Rieslingsekt auf den Markt bringen. Für die Festlegung des Abgabepreises soll zunächst eine Preis-Absatz-Funktion ermittelt werden. Dazu wird in $n=6$ Geschäften ein Testverkauf durchgeführt und man erhält sechs Wertepaare mit dem jeweiligen Ladenpreis einer Flasche $x$ (in Euro) sowie der Zahl der jeweils verkauften Flaschen $y$:

Streudiagramm von Preis und abgesetzter Menge an Sektflaschen

Geschäft $i$	1	2	3	4	5	6
Flaschenpreis $x_{i}$	20	16	15	16	13	10
verkaufte Menge $y_{i}$	0	3	7	4	6	10

Benutzer:Sigbert/Infobox Formel Auf die Vermutung, dass es sich um einen linearen Zusammenhang handelt, kommt man, wenn man das obige Streudiagramm betrachtet. Dort erkennt man, dass die eingetragenen Datenpunkte nahezu auf einer Linie liegen. Im Weiteren sind der Preis als unabhängige und die Zahl der verkauften Flaschen als abhängige Variable definiert und es gibt sechs Beobachtungen. Die Anzahl der verkauften Flaschen mag aber nicht nur vom Preis abhängen, z. B. könnte in der Verkaufsstelle 3 eine große Werbetafel gehangen haben, so dass dort mehr Flaschen als erwartet verkauft wurden (zufälliger Einfluss). Damit scheint das einfache lineare Regressionsmodell zu passen.

Nach der graphischen Inspektion, ob ein linearer Zusammenhang vorliegt, wird zunächst die Regressiongerade mit der Methode der kleinsten Quadrate geschätzt und es ergeben sich die Formeln in der Infobox für die geschätzten Regressionsparameter.

Für das folgende Zahlenbeispiel ergeben sich für die abhängige und unabhängige Variable jeweils ein Mittelwert zu ${\overline {x}}=15$ und ${\overline {y}}=5$. Somit erhält man die Schätzwerte $b_{0}$ für $\beta _{0}$ und $b_{1}$ für $\beta _{1}$ durch einfaches Einsetzen in die weiter unten erklärten Formeln. Zwischenwerte (z. B. $\ {\hat {u}}_{i}=y_{i}-{\hat {y}}_{i}$) in diesen Formeln sind in folgender Tabelle dargestellt

$\ i$	Flaschenpreis $\ x_{i}$	verkaufte Menge $\ y_{i}$	$\ (x_{i}-{\overline {x}})$	$\ (y_{i}-{\overline {y}})$	$\ (x_{i}-{\overline {x}})(y_{i}-{\overline {y}})$	$(x_{i}-{\overline {x}})^{2}$	$(y_{i}-{\overline {y}})^{2}$	$\ {\hat {y}}_{i}$	$\ {\hat {u}}_{i}$	$\ {\hat {u}}_{i}^{2}$
1	20	0	5	−5	−25	25	25	0,09	−0,09	0,0081
2	16	3	1	−2	−2	1	4	4,02	−1,02	1,0404
3	15	7	0	2	0	0	4	5,00	2,00	4,0000
4	16	4	1	−1	−1	1	1	4,02	−0,02	0,0004
5	13	6	−2	1	−2	4	1	6,96	−0,96	0,9216
6	10	10	−5	5	−25	25	25	9,91	0,09	0,0081
Summe	90	30	0	0	−55	56	60	30,00	0,00	5,9786

Es ergibt sich in dem Beispiel

$b_{1}={\frac {\sum \nolimits _{i=1}^{6}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{6}(x_{i}-{\overline {x}})^{2}}}={\frac {-55}{56}}=-0{,}98\quad$ und $\quad b_{0}={\overline {y}}-b_{1}{\overline {x}}=5-(-0{,}98)\cdot 15=19{,}73$.

Die geschätzte Regressionsgerade lautet somit

${\hat {y}}_{i}=19{,}73-0{,}98x_{i}$,

sodass man vermuten kann, dass bei jedem Euro mehr der Absatz im Mittel um ungefähr eine Flasche sinkt.

Für einen konkreten Preis $x$ kann die Absatzmenge ausgerechnet werden, z. B. $x=11$ ergibt sich eine geschätzte Absatzmenge von ${\hat {y}}=19{,}73-0{,}98\cdot 11=8{,}93$. Für jeden Beobachtungswert $x_{i}$ kann eine geschätzte Absatzmenge angegeben werden, z. B. für $x_{3}=15$ ergibt sich ${\hat {y}}_{3}=19{,}73-0{,}98\cdot 15=5$. Der geschätzte Fehlerterm, genannt Residuum, ist dann ${\hat {u}}_{3}=y_{3}-{\hat {y}}_{3}=7-5=2{,}00$.

Bestimmtheitsmaß

→ Hauptartikel: Bestimmtheitsmaß

Streudiagramm der Residuen ohne Struktur, das $R^{2}=0$ liefert

Streudiagramm der Residuen, das ein $R^{2}$ nahe bei $1$ liefert

Das Bestimmtheitsmaß $R^{2}=1-SQR/SQT$ misst die Anpassungsgüte eines Regressionsmodells. Es ist der Anteil der Variation von $Y$ der durch eine lineare Regression „erklärt “ wird (Varianzaufklärung), und liegt daher zwischen:

• $0\,\%$ (oder $0$): kein linearer Zusammenhang und
• $100\,\%$ (oder $1$): perfekter linearer Zusammenhang.

Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Ist $R^{2}=0$, dann besteht das „beste“ lineare Regressionsmodell nur aus dem Niveauparameter $b_{0}$, während $b_{1}=0$ ist. Je näher der Wert des Bestimmtheitsmaß an $1$ liegt, desto besser erklärt die Regressionsgerade den wahren Zusammenhang. Ist $R^{2}=1$, dann lässt sich die abhängige Variable $Y$ vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$ alle auf der nichthorizontalen Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.

Eine häufige Fehlinterpretation eines niedrigen Bestimmtheitsmaßes ist es, dass es keinen Zusammenhang zwischen den Variablen gibt. Tatsächlich wird nur der lineare Zusammenhang gemessen, d. h. obwohl $R^{2}$ klein ist, kann es trotzdem einen starken nichtlinearen Zusammenhang geben. Umgekehrt muss ein hoher Wert des Bestimmtheitsmaßes nicht bedeuten, dass ein nichtlineares Regressionsmodell nicht noch besser als ein lineares Modell ist.

Bei einer einfachen linearen Regression entspricht $R^{2}$ dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten $r_{xy}$ (siehe Bestimmtheitsmaß als quadrierter Korrelationskoeffizient).

Im oben genannten Beispiel kann die Güte des Regressionsmodells mit Hilfe des Bestimmtheitsmaßes überprüft werden. Für das Beispiel ergibt sich

$SQR=\sum _{i=1}^{6}(y_{i}-{\hat {y}}_{i})^{2}=5{,}98\quad$ und $\quad SQT=\sum _{i=1}^{6}(y_{i}-{\overline {y}})^{2}=60$

und das Bestimmtheitsmaß zu

$R^{2}=1-{\frac {\displaystyle \sum \nolimits _{i=1}^{6}(y_{i}-{\hat {y}}_{i})^{2}}{\displaystyle \sum \nolimits _{i=1}^{6}(y_{i}-{\overline {y}})^{2}}}=1-{\frac {5{,}98}{60}}=0{,}90$.

Das heißt ca. 90 % der Streuung in $Y$ können mit Hilfe des Regressionsmodells „erklärt“ werden, nur 10 % der Streuung bleiben „unerklärt“.

Das Modell

Datensatz mit wahrer Regressionsgerade (blau) und geschätzter Regressionsgerade (rot) sowie wahrem Fehlerterm und geschätzten Fehlerterm (Residuum).

Im Regressionsmodell werden die Zufallskomponenten mit Hilfe von Zufallsvariablen $U_{i}$ modelliert. Wenn $U_{i}$ eine Zufallsvariable ist, dann ist es auch $Y_{i}$. Die beobachteten Werte $y_{i}$ werden als Realisierungen der Zufallsvariablen $Y_{i}$ aufgefasst.

Daraus ergibt sich das einfache lineare Regressionsmodell:

$Y_{i}=\beta _{0}+\beta _{1}\ x_{i}+U_{i},\quad i=1,\dotsc ,n$ (mit Zufallsvariablen) bzw.

$y_{i}=\beta _{0}+\beta _{1}\ x_{i}+u_{i},\quad i=1,\dotsc ,n$ (mit deren Realisierungen).

Bildlich gesprochen wird eine Gerade durch das Streudiagramm der Messung gelegt. In der gängigen Literatur wird die Gerade oft durch den Niveauparameter $\beta _{0}$ und den Steigungsparameter $\beta _{1}$ beschrieben. Die abhängige Variable wird in diesem Kontext oft auch endogene Variable genannt. Dabei ist $U_{i}$ ein additiver stochastischer Fehlerterm, der Abweichungen vom idealen Zusammenhang – also der Geraden – achsenparallel misst.

Anhand der Messwerte $(x_{1},y_{1}),\dotsc ,(x_{n},y_{n})$ werden die Regressionsparameter $\beta _{0}$ und die $\beta _{1}$ geschätzt. So erhält man die geschätzte Regressionsgerade ${\hat {y}}=b_{0}+b_{1}x$. Im Gegensatz zur exogenen und endogenen Variablen sind die Zufallskomponenten $U_{i}$ und deren Realisierungen nicht direkt beobachtbar. Ihre geschätzten Realisierungen ${\hat {u}}_{i}$ sind nur indirekt beobachtbar und heißen Residuen.

Modellannahmen

Um die Zerlegung von $Y_{i}$ in eine systematische und zufällige Komponente zu sichern sowie gute Schätzeigenschaften für die Schätzung $b_{0}$ und $b_{1}$ der Regressionsparameter $\beta _{0}$ und $\beta _{1}$ zu haben, sind einige Annahmen bezüglich der Fehlerterme sowie der exogenen Variable nötig.

Annahmen über die exogene Variable

In Bezug auf die exogene Variable werden folgende Annahmen getroffen:

Die Werte der exogenen Variablen $x_{i}$ sind fix

Sie können also wie in einem Experiment kontrolliert werden und sind damit keine Zufallsvariablen (Exogenität der Regressoren). Wären die $x_{i}$ Zufallsvariablen, z. B. wenn die $x_{i}$ auch nur fehlerbehaftet gemessen werden können, dann wäre $Y_{i}=\beta _{0}+\beta _{1}X_{i}+U_{i}$ und die Verteilung von $Y_{i}$ sowie die Verteilungsparameter (Erwartungswert und Varianz) würden nicht nur von $U_{i}$ abhängen

$\operatorname {E} (Y_{i})=\beta _{0}+\beta _{1}\operatorname {E} (X_{i})+\operatorname {E} (U_{i})$.

Mit speziellen Regressionsverfahren kann dieser Fall aber auch behandelt werden, siehe z. B. Regression mit stochastischen Regressoren.

Stichprobenvariation in der exogenen Variablen

Die Festlegungen der exogenen Variable weisen bzgl. aller Beobachtungen $x_{1},\ldots ,x_{n}$ nicht den gleichen Wert auf. Man schließt also den unwahrscheinlichen Fall aus, dass $x$ keinerlei Variabilität aufweist, d. h. $x_{1}=x_{2}=\ldots =x_{n}={\overline {x}}$. Dies impliziert, dass die Summe der Abweichungsquadrate der exogenen Variable $\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}$ positiv sein muss. Diese Annahme wird im Schätzprozess benötigt.

Keine perfekte Multikollinearität

Dies bedeutet, dass sich keine exogene Variable als eine perfekte Linearkombination aus den anderen exogenen Variablen ergeben darf.

Annahmen über die exogene und endogene Variable

Der wahre Zusammenhang zwischen den Variablen $x_{i}$ und $y_{i}$ ist linear

Die Regressionsgleichung der linearen Einfachregression muss linear in den Parametern $\beta _{0}$ und $\beta _{1}$ sein, kann aber nichtlineare Transformationen der exogenen und der endogenen Variablen beinhalten. Beispielsweise sind die Transformationen

$\log(y_{i})=\beta _{0}+\beta _{1}\log(x_{i})+u_{i}\quad$ und $\quad y_{i}=\beta _{0}+\beta _{1}{\frac {x_{i1}+x_{i2}}{2}}+u_{i}$

zulässig, da sie ebenfalls lineare Modelle darstellen. Bei transformierten Daten ist zu beachten, dass sie die Interpretation der Regressionsparameter ändert.

Vorliegen einer Zufallsstichprobe

Es liegt ein Zufallsstichprobe des Umfangs $n$ vor $(x_{1},y_{1}),\ldots ,(x_{n},y_{n})$, die dem spezifizierten linearen Modell folgt.

Annahmen über die Fehlerterme

In Bezug auf die Fehlerterme werden folgende Annahmen getroffen:

Der Erwartungswert der Fehlerterme ist Null: $\operatorname {E} (U_{i})=0\quad i=1,\ldots ,n$

Dies bedeutet, dass das betrachte Modell im Mittel dem wahren Modell entspricht. Wäre der Erwartungswert nicht Null, dann würde man im Mittel ein falsches Modell bekommen.

Die Fehlerterme $U_{i},\dotsc ,U_{n}$ sind voneinander unabhängige Zufallsvariablen

Wären die Fehlerterme nicht unabhängig, dann könnte man einen systematischen Zusammenhang zwischen ihnen formulieren. Das würde der Zerlegung von $Y$ in eine eindeutige systematische und zufällige Komponente widersprechen. Es wird in Zeitreihen z. B. oft ein Zusammenhang der Form $U_{i}=f(U_{i-1},U_{i-2},\ldots )$ betrachtet.

Oft wird auch nur die Unkorreliertheit der Fehlerterme gefordert: $\operatorname {Cov} (U_{i},U_{j})=\operatorname {E} [(U_{i}-\operatorname {E} (U_{i}))((U_{j}-\operatorname {E} (U_{j}))]=\operatorname {E} (U_{i}U_{j})=0\quad \forall i\neq j,\;i=1,\ldots ,n,\;j=1,\ldots ,n$.

Unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.

Eine konstante Varianz (Homoskedastizität) der Fehlerterme: $\forall i:\operatorname {Var} (U_{i})=\operatorname {Var} (Y_{i})=\sigma ^{2}=\mathrm {konst.}$

Wäre die Varianz nicht konstant, liesse sich evtl. die Varianz systematisch modellieren, d. h. dies widerspräche Zerlegung von $Y_{i}$ in eine eindeutige systematische und zufällige Komponente. Zudem lässt sich zeigen, dass sich die Schätzeigenschaften der Regressionsparameter verbessern lassen, wenn die Varianz nicht konstant ist.

Alle oben genannten Annahmen über die Fehlerterme lassen sich so zusammenfassen:

$U_{i}\;{\stackrel {\mathrm {i.i.d} }{\sim }}\;(0,\sigma ^{2})\quad ,i=1,\ldots ,n$,

d. h. alle Fehlerterme sind unabhängig und identisch verteilt (i.i.d. = independent and identically distributed) mit Erwartungswert $\operatorname {E} (U_{i})=0$ und $\operatorname {Var} (U_{i})=\sigma ^{2}$.

Optionale Annahme: Die Fehlerterme sind normalverteilt, also $U_{i}\;\sim \;{\mathcal {N}}(0,\sigma ^{2})\quad ,i=1,\ldots ,n$

Diese Annahme wird nur benötigt um z. B. Konfidenzintervalle zu berechnen bzw. um Tests für die Regressionsparameter durchzuführen.

Wird die Normalverteilung der Fehlerterme angenommen, so folgt, dass auch $Y_{i}$ normalverteilt ist:

$Y_{i}\;\sim \;{\mathcal {N}}\left(\operatorname {E} (Y_{i}),\operatorname {Var} (Y_{i})\right)$

Die Verteilung der $Y_{i}$ hängt also von der Verteilung der Fehlerterme ab. Der Erwartungswert der abhängigen Variablen, bei gegebenen Daten $x_{i}$ lautet:

$\operatorname {E} (Y_{i})=\operatorname {E} \left(\beta _{0}+\beta _{1}x_{i}+U_{i}\right)=\beta _{0}+\beta _{1}x_{i}$

Für die Varianz der abhängigen Variablen gilt, dass sie gleich der Varianz der Fehlerterme entspricht:

$\operatorname {Var} (Y_{i})=\operatorname {Var} (\beta _{0}+\beta _{1}x_{i}+U_{i})=\operatorname {Var} (U_{i})=\sigma ^{2}$

Damit ergibt sich für die Verteilung der abhängigen bzw. endogenen Variablen:

$Y_{i}\;\sim \;{\mathcal {N}}\left(\beta _{0}+\beta _{1}x_{i},\sigma ^{2}\right)$

Da aufgrund der Annahme, dass die Fehlerterme im Mittel null sein müssen, muss der Erwartungswert von $Y_{i}$ dem wahren Modell

$y_{i}=\beta _{0}+\beta _{1}x_{i}$

entsprechen. D. h. mit der Annahme über die Fehlerterme schlussfolgert man, dass das Modell im Mittel korrekt sein muss. Wenn zusätzlich zu den anderen Annahmen auch die Annahme der Normalverteiltheit gefordert wird spricht man auch vom klassischen linearen Modell.

Regressionsdiagnostik

Überprüfung der Regressionsmodellannahmen

Im Rahmen der Regressionsdiagnostik sollen die Voraussetzungen des Regressionsmodells, soweit möglich, geprüft werden. Dazu zählen die Überprüfung, ob die Fehlerterme keine Struktur (die dann nicht zufällig wäre) haben. Dazu gehört, ob

Erwünschte (links oben) und unerwünschte (alle anderen) Streudiagramme der Residuen.

1. die Fehlerterme unabhängig sind,
2. Analyse der Varianz der Fehlerterme (Homoskedastizität und Heteroskedastizität),
3. die Fehlerterme normal-verteilt und
4. keine weitere regressierbare Struktur in den Fehlertermen existiert.

Zur Analyse werden Streudiagramme, Kennzahlen und Tests eingesetzt:

Unabhängigkeit der Fehlerterme

• Streudiagramme der Residuen ($Y$ -Achse) gegen die exogene Variable, die endogene Variable und/oder die geschätzten Regresswerten
• Durbin-Watson-Test auf autokorrelierte Fehlerterme

Heteroskedastizität der Fehlerterme

• Streudiagramme der Residuen ($Y$ -Achse) gegen die exogene Variable, die endogene Variable und/oder die geschätzten Regresswerten
• Breusch-Pagan-Test
• Goldfeld-Quandt-Test

Normalverteilung der Fehlerterme

• Abweichungen von der Normalverteilungsannahme der Fehlerterme lassen sich mithilfe eines Normal-Quantil-Diagramms oder Quantil-Quantil-Diagramms für die Residuen überprüfen
• Schiefe und Kurtosis als Maße für die Asymmetrie und Wölbung der Fehlerverteilung. Für normalverteilte Größen ist die Schiefe gleich 0 und die Kurtosis gleich 3. Bei Abweichung von diesen Werten liegt wahrscheinlich keine Normalverteilung vor.
• Tests auf Normalverteilung der Residuen: Shapiro-Wilk-Test, Lilliefors-Test (Kolmogorow-Smirnow-Test), Anderson-Darling-Test oder Cramér-von-Mises-Test

Regressierbare Struktur der Fehlerterme

• Streudiagramm der (quadrierten) Residuen ($Y$ -Achse) inklusive einer nichtparametrischen Regression gegen die exogene Variable, die endogene Variable, den geschätzten Regresswerten und/oder die nicht in der Regression benutzten Variablen

Therapie

Vorliegen von Autokorrelation

• Die verallgemeinerte Methode der kleinsten Quadrate ist eine Lösung bei Vorliegen von Autokorrelation

Ausreißer

Ein Ausreißer-Messwert. Die blaue Regressionsgerade wurde ohne Einbeziehung des Ausreißers erstellt, die violette mit.

Als Ausreißer sind Datenwerte definiert, die „nicht in eine Messreihe passen“. Diese Werte haben einen starken Einfluß auf die Regressiongleichung und verfälschen das Ergebnis. Um dies zu vermeiden, müssen die Daten auf fehlerhafte Beobachtungen untersucht werden. Die entdeckten Ausreißer können beispielsweise aus der Messreihe ausgeschieden werden oder es sind alternative ausreißerresistente Berechnungsverfahren wie die gewichtete Regression oder das Drei-Gruppen-Verfahren anzuwenden.

Im ersten Fall wird nach der ersten Berechnung der Schätzwerte durch statistische Tests geprüft, ob Ausreißer in einzelnen Messwerten vorliegen. Diese Messwerte werden dann ausgeschieden und die Schätzwerte erneut berechnet. Dieses Verfahren eignet sich dann, wenn nur wenige Ausreißer vorliegen.

Bei der gewichteten Regression werden die abhängigen Variablen $y$ in Abhängigkeit von ihren Residuen gewichtet. Ausreißer, d. h. Beobachtungen mit großen Residuen, erhalten ein geringes Gewicht, das je nach Größe des Residuums abgestuft sein kann. Beim Algorithmus nach Mosteller und Tukey (1977), der als „biweighting“ bezeichnet wird, werden unproblematische Werte mit 1 und Ausreißer mit 0 gewichtet, was die Unterdrückung des Ausreißers bedingt. Bei der gewichteten Regression sind in der Regel mehrere Iterationsschritte erforderlich, bis sich die Menge der erkannten Ausreißer nicht mehr ändert. Führt das Weglassen einer oder weniger Beobachtungen zu starken Änderungen bie der Regressionsgeraden, so stellt sich die Frage, ob das Regessionmodell angemessen ist.

• Diagnose: Cooks Distanz: Cooks Distanz misst den Einfluss der $i$-ten Beobachtung auf die Schätzung des Regressionsmodells.

Schätzung der Regressionsparameter und der Fehlerterme

Datensatz und Regressionsgerade inkl. Residuum.

Die Schätzung der Regressionsparameter $\beta _{0}$ und $\beta _{1}$ und der Fehlerterme $u_{i}$ geschieht in zwei Schritten:

1. Zunächst werden mit Hilfe der Kleinste-Quadrate-Schätzung die unbekannten Regressionsparameter $\beta _{0}$ und $\beta _{1}$ geschätzt. Dabei wird die Summe der quadrierten Abweichungen zwischen dem geschätzten Regressionswert ${\hat {y}}_{i}=b_{0}+b_{1}x_{i}$ und dem beobachteten Wert $y_{i}$ minimiert. Dabei ergeben sich folgende Formeln:

   $b_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}={\frac {SP_{xy}}{SQ_{x}}}$

   $b_{0}={\overline {y}}-b_{1}{\overline {x}}$

2. Sind $b_{0}$ und $b_{1}$ berechnet, so kann das Residuum geschätzt werden als ${\hat {u}}_{i}=y_{i}-{\hat {y}}_{i}=y_{i}-b_{0}-b_{1}x_{i}$.

Herleitung der Formeln für die Regressionsparameter

Die einfache lineare Regression (rechts) passt besser zu den Daten im Vergleich zum einfachen Durchschnitt (links). Die Flächen der blauen Quadrate repräsentieren die quadrierten Residuen in Bezug auf die lineare Regression. Die Flächen der roten Quadrate repräsentieren die quadrierten Residuen in Bezug auf den Durchschnitt.

Um nun die Parameter der Gerade zu bestimmen, wird die Summe der quadrierten Fehlerterme oder die Summe der quadrierten Residuen $Q$ minimiert

$\left(b_{0},b_{1}\right)={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\,Q(\beta _{0},\beta _{1})={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(y_{i}-(\beta _{0}+\beta _{1}x_{i})\right)^{2}$

Die Bedingungen erster Ordnung (notwendige Bedingungen) lauten:

$\left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{0}}}\right|_{b_{0}}=-2\sum _{i=1}^{n}\left(y_{i}-b_{0}-\beta _{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0\quad$

und

$\left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{1}}}\right|_{b_{1}}=-2\sum _{i=1}^{n}x_{i}\left(y_{i}-\beta _{0}-b_{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0$.

Durch Nullsetzen der partiellen Ableitungen nach $\beta _{0}$ und $\beta _{1}$ ergeben sich die gesuchten Parameterschätzer, bei denen die Residuenquadratsumme minimal wird:

$b_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}={\frac {SP_{xy}}{SQ_{x}}}\;$ und $\;b_{0}={\overline {y}}-b_{1}{\overline {x}}$,

wobei $SP_{xy}$ die Summe der Abweichungsprodukte zwischen $x$ und $y$ und $SQ_{x}$ die Summe der Abweichungsquadrate von $x$ darstellt. Mithilfe des Verschiebungssatzes von Steiner lässt sich $b_{1}$ auch wie folgt einfacher, in nichtzentrierter Form, darstellen

$b_{1}={\frac {\sum _{i=1}^{n}(x_{i}y_{i})-n{\overline {x}}{\overline {y}}}{\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}}}$.

Algebraische Eigenschaften der Kleinste-Quadrate-Schätzer

Aus den Formeln sind drei Eigenschaften ableitbar:

1.) Die geschätzte Regressiongerade läuft immer durch den Schwerpunkt („Gravitationszentrum“) der Daten $({\overline {x}},{\overline {y}})$, denn es gilt

${\hat {y_{i}}}=b_{0}+b_{1}x_{i}\Rightarrow {\frac {1}{n}}\sum _{i=1}^{n}({\hat {y_{i}}})={\frac {1}{n}}\sum _{i=1}^{n}(b_{0}+b_{1}x_{i})\Leftrightarrow {\overline {\hat {y_{i}}}}=b_{0}+b_{1}{\overline {x}}\Leftrightarrow {\overline {y_{i}}}=b_{0}+b_{1}{\overline {x}}$.

Der letzte Ausdruck folgt aus der Eigenschaft: ${\overline {\hat {y_{i}}}}={\overline {y_{i}}}$

2.) Die Summe der Residuen ist Null, wenn das Modell den Niveauparameter enthält:

$\sum _{i=1}^{n}{\hat {u}}_{i}\;=\;0$, denn es gilt $0={\overline {y}}-b_{0}-b_{1}{\overline {x}}\Leftrightarrow \sum \limits _{i=1}^{n}y_{i}-nb_{0}-b_{1}\sum \limits _{i=1}^{n}x_{i}\;=\;0\Leftrightarrow \sum \limits _{i=1}^{n}y_{i}-\underbrace {(b_{0}+b_{1}x_{i})} _{={\hat {y}}_{i}}=0$

Dies ist äquivalent zu der Eigenschaft, dass die gemittelten Residuen 0 ergeben: $0={\overline {u}}-(b_{0}-\beta _{0})-(b_{1}-\beta _{1}){\overline {x}}$

3.) Die Residuen und die unabhängigen Variablen sind (unabhängig davon ob ein Niveauparameter mit einbezogen wurde oder nicht) unkorreliert

$k>0:\sum _{i=1}^{n}x_{ik}{\hat {u}}_{i}\;=\;0$.

Die Residuen und die geschätzten Werten sind unkorreliert, d. h. $\sum \nolimits _{i=1}^{n}{\hat {u}}_{i}{\hat {y}}_{i}=0$.

Diese Unkorreliertheit der prognostizierten Werte mit den Residuen kann so interpretiert werden, dass in der Prognose bereits alle relevante Information der erklärenden Variablen bezüglich der der abhängigen Variablen steckt.

Schätzfunktionen der Kleinste-Quadrate-Schätzer

Aus der Regressionsgleichung $y_{i}=\beta _{0}+\beta _{1}x_{i}+u_{i}$ lassen sich die Schätzfunktionen $B_{1}$ für $\beta _{1}$ und $B_{0}$ für $\beta _{0}$ ableiten.

$B_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}=\sum \nolimits _{i=1}^{n}w_{i}Y_{i}-{\overline {Y}}\underbrace {\sum \nolimits _{i=1}^{n}w_{i}} _{=0}$ mit der Gewichtsfunktion $w_{i}=w_{i}(x_{i})={\frac {(x_{i}-{\overline {x}})}{\sum \nolimits _{j=1}^{n}(x_{j}-{\overline {x}})^{2}}}$

$B_{0}={\overline {Y}}-B_{1}{\overline {x}}=\sum \nolimits _{i=1}^{n}({\tfrac {1}{n}}-{\overline {x}}w_{i})Y_{i}$.

Die Schätzwerte $b_{1}$ und $b_{0}$ werden dabei als Realisierungen der Zufallsvariablen $B_{1}$ bzw. $B_{0}$ betrachtet.

Die Formeln zeigen auch, dass die Schätzfunktionen der Regressionsparameter linear von $Y_{i}$ abhängen. Unter der Annahme der Normalverteilung der Residuen $U_{i}\sim {\mathcal {N}}(0,\sigma ^{2})$ (oder wenn für $Y_{i}$ der zentrale Grenzwertsatz erfüllt ist) folgt, dass auch die Schätzfunktionen der Regressionsparameter $B_{1}$ und $B_{0}$ zumindest approximativ normal verteilt sind:

$B_{1}\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{1},\sigma _{B_{1}}^{2})$ und $B_{0}\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{0},\sigma _{B_{0}}^{2})$.

Statistische Eigenschaften der Kleinste-Quadrate-Schätzer

Varianzen der Kleinste-Quadrate-Schätzer

Die Varianzen des Steigungsparameters und des Niveauparameteres sind gegeben durch:

$\sigma _{B_{0}}^{2}=\operatorname {Var} \left(B_{0}\right)=\sigma ^{2}{\frac {\sum \nolimits _{i=1}^{n}x_{i}^{2}}{n\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}={\frac {\sigma ^{2}}{n}}\left(1+{\frac {{\overline {x}}^{2}}{s_{x}^{2}}}\right)\;$ und $\;\sigma _{B_{1}}^{2}=\operatorname {Var} \left(B_{1}\right)=\sigma ^{2}{\frac {1}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}$.

Dabei stellt $s_{x}^{2}$ die empirische Varianz dar.

Die Kovarianz ist gegeben durch

$\operatorname {Cov} \left(B_{0},B_{1}\right)=\sigma ^{2}{\frac {-{\overline {x}}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}$.

Falls für $n\to \infty$

$\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\to \infty$,

dann sind die Kleinste-Quadrate-Schätzer $B_{0}$ und $B_{1}$ konsistent für $\beta _{0}$ und $\beta _{1}$. Dies bedeutet, dass mit zunehmender Stichprobengröße der wahre Wert immer genauer geschätzt wird und die Varianz letztendlich verschwindet. Das Problem an den beiden Varianzformeln ist jedoch, dass die wahre Varianz der Fehlerterme $\sigma ^{2}$ unbekannt ist und somit geschätzt werden muss. Die Wurzel der Varianzen der jeweiligen Punktschätzer wird auch als Standardfehler bezeichnet und ist wichtig für die Beurteilung der Anpassungsgüte (siehe auch Standardfehler der Regressionsparameter im einfachen Regressionsmodell).

Schätzer für die Fehlervarianz

Eine erwartungstreue Schätzung der Fehlervarianz ist gegeben durch

${\hat {\sigma }}^{2}={\frac {1}{n-2}}\sum \limits _{i=1}^{n}\left(y_{i}-b_{0}-b_{1}x_{i}\right)^{2}$,

d. h., es gilt $\operatorname {E} ({\hat {\sigma }}^{2})=\sigma ^{2}$.

Dies lässt sich wie folgt zeigen:

Zunächst benutzt man die Eigenschaft, dass sich die Residuen darstellen lassen als ${\hat {u}}_{i}=u-(b_{0}-\beta _{0})-(b_{1}-\beta _{1})x_{i}$. Von dieser Gleichung subtrahiert man nun die gemittelten Residuen, die 0 ergeben:

${\hat {u}}_{i}=u-(b_{0}-\beta _{0})-(b_{1}-\beta _{1})x_{i}-({\overline {u}}-(b_{0}-\beta _{0})-(b_{1}-\beta _{1}){\overline {x}})=(u_{i}-{\overline {u}})-(b_{1}-\beta _{1})(x_{i}-{\overline {x}})$.

Quadriert man nun die Residuen, bildet die Summe über alle $i$ und nimmt von diesem Resultat wiederum den Erwartungswert liefert dies

$\operatorname {E} \left(\sum \nolimits _{i=1}^{n}{\hat {u}}_{i}^{2}\right)=\operatorname {E} \left(\sum \nolimits _{i=1}^{n}(u_{i}-{\overline {u}})^{2}\right)+\operatorname {E} \left((b_{1}-\beta _{1})^{2}\right)\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}-\operatorname {E} \left((2(b_{1}-\beta _{1})\sum \nolimits _{i=1}^{n}u_{i}(x_{i}-{\overline {x}})\right)$.

Die Erwartungswerte der einzelnen Terme lassen sich vereinfachen zu $\operatorname {E} \left(\sum \nolimits _{i=1}^{n}{\hat {u}}_{i}^{2}\right)=(n-1)\sigma ^{2}+\sigma ^{2}-2\sigma ^{2}=(n-2)\sigma ^{2}$. Daraus folgt letztendlich, dass die erwartungstreue Varianz gegeben sein muss durch:

${\frac {1}{n-2}}\sum \limits _{i=1}^{n}{\hat {u}}_{i}^{2}={\frac {1}{n-2}}\sum \limits _{i=1}^{n}\left(y_{i}-b_{0}-b_{1}x_{i}\right)^{2}$.

Das Ersetzen von $\sigma ^{2}$ durch ${\hat {\sigma }}^{2}$ in den obigen Formeln für die Varianzen der Regressionsparameter liefert die Schätzungen ${\widehat {\operatorname {Var} \left(B_{0}\right)}}\;$ und $\;{\widehat {\operatorname {Var} \left(B_{1}\right)}}$ für die Varianzen.

Erwartungstreue der Kleinste-Quadrate-Schätzer

Die Schätzfunktionen der Regressionsparameter $B_{1}$ und $B_{0}$ sind erwartungstreu (oft auch unverzerrt genannt), d. h. es gilt $\operatorname {E} (B_{1})=\beta _{1}$ und $\operatorname {E} (b_{0})=\beta _{0}$. Der Kleinste-Quadrate-Schätzer liefert also im „im Mittel“ die wahren Werte der Koeffizienten.

Mit der Linearität des Erwartungswerts und der Voraussetzung $\operatorname {E} (U_{i})=0$ folgt nämlich $\operatorname {E} (Y_{i})=\beta _{0}+\beta _{1}x_{i}$ und :$\operatorname {E} ({\overline {Y}})=\beta _{0}+\beta _{1}{\overline {x}}$. Als Erwartungswert von $B_{1}$ ergibt sich daher:

${\begin{aligned}\operatorname {E} (B_{1})&=\operatorname {E} \left({\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\right)={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})\operatorname {E} (Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\\&\\&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(\beta _{0}+\beta _{1}x_{i}-(\beta _{0}+\beta _{1}{\overline {x}}))}{\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}=\beta _{1}\end{aligned}}$

Für den Erwartungswert von $B_{0}$ erhält man schließlich:

$\operatorname {E} (B_{0})=\operatorname {E} ({\overline {Y}}-B_{1}{\overline {x}})=\operatorname {E} ({\overline {Y}})-\operatorname {E} (B_{1}){\overline {x}}=\underbrace {\beta _{0}+\beta _{1}{\overline {x}}} _{=\operatorname {E} ({\overline {Y}})}-\beta _{1}{\overline {x}}=\beta _{0}$

Beste lineare erwartungstreue Schätzfunktion

→ Hauptartikel: Satz von Gauß-Markow

Es lässt sich zeigen, dass der Kleinste-Quadrate-Schätzer die beste lineare erwartungstreue Schätzfunktion darstellt. Eine Schätzfunktion ist „besser“ als eine andere, wenn sie eine kleinere Varianz aufweist, da die Varianz ein Maß für die Unsicherheit ist. Somit ist die beste Schätzfunktion dadurch gekennzeichnet, dass er eine minimale Varianz und somit die geringste Unsicherheit aufweist. Diejenige Schätzfunktion, die unter den linearen erwartungstreuen Schätzfunktionen die kleinste Varianz aufweist, wird auch als Beste Lineare Erwartungstreue Schätzfunktion, kurz BLES (englisch Best Linear Unbiased Estimator, kurz BLUE) bezeichnet. Für alle anderen linearen erwartungstreuen Schätzer ${\tilde {\beta }}_{0}$ und ${\tilde {\beta }}_{1}$ gilt somit

$\operatorname {Var} \left(b_{0}\right)\leq \operatorname {Var} \left({\tilde {\beta }}_{0}\right)\quad$ und $\quad \operatorname {Var} \left(b_{1}\right)\leq \operatorname {Var} \left({\tilde {\beta }}_{1}\right)$.

Auch ohne Normalverteilungsannahme ist der Kleinste-Quadrate-Schätzer ein bester linearer erwartungstreuer Schätzer.

Prognose

→ Hauptartikel: Prognosemodell

Oft ist man daran interessiert für einen neuen Wert $x_{0}$ die (Realisierung) der endogenen Variablen $y_{0}$ zu schätzen. Beispielsweise könnte $x_{0}$ der geplante Preis eines Produktes sein und $y_{0}$ der Absatz sein. In diesem fall nimmt man das gleiche einfache Regressionsmodell wie oben dargestellt an. Für eine neue Beobachtung $y_{0}$ mit dem Wert der exogenen Variablen $x_{0}$ ist die Prognose basierend auf der linearen Einfachregression gegeben durch

${\hat {y}}_{0}=b_{0}+b_{1}x_{0}$

Da man den Wert der endogenen Variablen nie genau vorhersehen kann, ergibt sich immer ein Schätzfehler. Dieser Fehler wird als Prognosefehler bezeichnet und ergibt sich aus

${\hat {y}}_{0}-y_{0}$

Im Fall der linearen Einfachregression ergibt sich für den Erwartungswert und die Varianz des Prognosefehlers:

$\operatorname {E} ({\hat {y}}_{0}-y_{0})=0\;$ und $\;\sigma _{0}^{2}=\operatorname {Var} ({\hat {y}}_{0}-y_{0})=\sigma ^{2}\left(1+{\frac {1}{n}}+{\frac {(x_{0}-{\overline {x}})^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\right)$.

Man erhält dann als $(1-\alpha )$-Prognoseintervall für den prognostizierten Wert von $y_{0}$

${\hat {y}}_{0}\pm t_{(1-\alpha /2)}(n-2)\cdot {\sqrt {{\hat {\sigma }}^{2}\left(1+{\frac {1}{n}}+{\frac {(x_{0}-{\overline {x}})^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\right)}}$.

Aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn sich die exogene Prognosevariable $x_{0}$ vom „Gravitationszentrum“ der Daten entfernt. Schätzungen der endogenen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig.

Kausalität und Regressionsrichtung

→ Hauptartikel: Kausalität

Regressionsgeraden für $y=g_{x}(x)$ [rot] und $x=g_{y}(y)$ [blau]; hier werden die Parameter ${\hat {\beta }}_{1}$ und ${\hat {\beta }}_{2}$ durch $a$ und $b$ dargestellt

Wie in der statistischen Literatur immer wieder betont wird, ist ein hoher Wert des Korrelationskoeffizienten zweier Variablen $X$ und $Y$ allein noch kein hinreichender Beleg für den kausalen (d. h. ursächlichen) Zusammenhang von $X$ und $Y$, ebenso wenig für dessen mögliche Richtung. Es ist hier nämlich ein Fehlschluss der Art cum hoc ergo propter hoc möglich.

Anders als gemeinhin beschrieben, sollte man es daher bei der linearen Regression zweier Variablen $X$ und $Y$ stets mit nicht nur einer, sondern zwei voneinander unabhängigen Regressionsgeraden zu tun haben: der ersten für die vermutete lineare Abhängigkeit $y=g_{x}(x)$ (Regression von $Y$ auf $X$), der zweiten für die nicht minder mögliche Abhängigkeit $x=g_{y}(y)$ (Regression von $X$ auf $Y$).

Bezeichnet man die Richtung der $x$-Achse als Horizontale und die der $y$-Achse als Vertikale, läuft die Berechnung des Regressionsparameter also im ersten Fall auf das üblicherweise bestimmte Minimum der vertikalen quadratischen Abweichungen hinaus, im zweiten Fall dagegen auf das Minimum der horizontalen quadratischen Abweichungen.

Rein äußerlich betrachtet bilden die beiden Regressionsgeraden $y=g_{x}(x)$ und $x=g_{y}(y)$ eine Schere, deren Schnitt- und Angelpunkt der Schwerpunkt der untersuchten Daten $P({\overline {x}}|{\overline {y}})$ ist. Je weiter sich diese Schere öffnet, desto geringer ist die Korrelation beider Variablen, bis hin zur Orthogonalität beider Regressionsgeraden, zahlenmäßig ausgedrückt durch den Korrelationskoeffizienten $0$ bzw. Schnittwinkel $90^{\circ }$.

Umgekehrt nimmt die Korrelation beider Variablen umso mehr zu, je mehr sich die Schere schließt – bei Kollinearität der Richtungsvektoren beider Regressionsgeraden schließlich, also dann, wenn beide bildlich übereinander liegen, nimmt $r_{xy}$ je nach Vorzeichen der Kovarianz den Maximalwert $+1$ oder $-1$ an, was bedeutet, dass zwischen $X$ und $Y$ ein streng linearer Zusammenhang besteht und sich (wohlgemerkt nur in diesem einen einzigen Fall) die Berechnung einer zweiten Regressionsgeraden erübrigt.

Wie der nachfolgenden Tabelle zu entnehmen, haben die Gleichungen der beiden Regressionsgeraden große formale Ähnlichkeit, etwa, was ihre Anstiege ${{\hat {\beta }}_{2}}_{x}$ bzw. ${{\hat {\beta }}_{2}}_{y}$ angeht, die gleich den jeweiligen Regressionsparameter sind und sich nur durch ihre Nenner unterscheiden: im ersten Fall die Varianz von $X$, im zweiten die von $Y$:

Regression von $Y$ auf $X$	Zusammenhangsmaße	Regression von $X$ auf $Y$
Regressionskoeffizient$_{x}$	Produkt-Moment-Korrelation	Regressionskoeffizient$_{y}$
${\beta _{1}}_{x}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (X)}}$	$\rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}}$	${\beta _{1}}_{y}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (Y)}}$
Empirischer Regressionskoeffizient$_{x}$	Empirischer Korrelationskoeffizient	Empirischer Regressionskoeffizient$_{y}$
${\begin{aligned}{{\hat {\beta }}_{1}}_{x}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\\{{\hat {\beta }}_{0}}_{x}&={\overline {y}}-{\hat {\beta _{1}}}_{y}{\overline {x}}\end{aligned}}$	${\begin{aligned}r_{xy}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sqrt {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\cdot \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}\end{aligned}}$	${\begin{aligned}{{\hat {\beta }}_{1}}_{y}&={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}\\{{\hat {\beta }}_{0}}_{y}&={\overline {x}}-{\hat {\beta _{1}}}_{y}{\overline {y}}\end{aligned}}$
Regressionsgerade$_{x}$	Bestimmtheitsmaß	Regressionsgerade$_{y}$
${\begin{aligned}{\hat {y}}&={{\hat {\beta }}_{0}}_{x}+{{\hat {\beta }}_{1}}_{x}\cdot x\\&={\overline {y}}+{{\hat {\beta }}_{1}}_{x}\cdot (x-{\overline {x}})\end{aligned}}$	$R^{2}=r_{xy}^{2}={{\hat {\beta }}_{1}}_{x}{{\hat {\beta }}_{1}}_{y}$	${\begin{aligned}{\hat {x}}&={{\hat {\beta }}_{0}}_{y}+{{\hat {\beta }}_{1}}_{y}\cdot y\\&={\overline {x}}+{{\hat {\beta }}_{1}}_{y}\cdot (y-{\overline {y}})\end{aligned}}$

Zu erkennen ist außerdem die mathematische Mittelstellung des Korrelationskoeffizienten und seines Quadrats, des sogenannten Bestimmtheitsmaßes, gegenüber den beiden Regressionsparameter, dadurch entstehend, dass man anstelle der Varianzen von $X$ bzw. $Y$ deren geometrisches Mittel

${\overline {x}}_{\mathrm {geom} }={\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}$

in den Nenner setzt. Betrachtet man die Differenzen $(x_{i}-{\overline {x}})$ als Komponenten eines $n$-dimensionalen Vektors $\mathbf {x}$ und die Differenzen $(y_{i}-{\overline {y}})$ als Komponenten eines $n$-dimensionalen Vektors $\mathbf {y}$, lässt sich der empirische Korrelationskoeffizient schließlich auch als Kosinus des von beiden Vektoren eingeschlossenen Winkels $\theta$ interpretieren:

$r_{xy}:={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})\cdot (y_{i}-{\overline {y}})}{{\sqrt {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\cdot {\sqrt {\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}}={\frac {\mathbf {x} \circ \mathbf {y} }{|\mathbf {x} |\cdot |\mathbf {y} |}}=\cos \theta$

Beispiel

Für das vorangegangene Beispiel aus der Sektkellerei ergibt sich folgende Tabelle für die Regression von $Y$ auf $X$ bzw. für die Regression von $X$ auf $Y$:

$\ i$	Flaschenpreis $\ x_{i}$	verkaufte Menge $\ y_{i}$	$\ (x_{i}-{\overline {x}})$	$\ (y_{i}-{\overline {y}})$	$\ (x_{i}-{\overline {x}})(y_{i}-{\overline {y}})$	$(x_{i}-{\overline {x}})^{2}$	$(y_{i}-{\overline {y}})^{2}$	$\ {\hat {y}}_{i}$	$\ {\hat {x}}_{i}$
1	20	0	5	−5	−25	25	25	0,09	19,58
2	16	3	1	−2	−2	1	4	4,02	16,83
3	15	7	0	2	0	0	4	5,00	13,17
4	16	4	1	−1	−1	1	1	4,02	15,92
5	13	6	−2	1	−2	4	1	6,96	14,08
6	10	10	−5	5	−25	25	25	9,91	10,42
Summe	90	30	0	0	−55	56	60	30,00	90,00

Daraus ergeben sich folgende Werte für die Regression von $Y$ auf $X$:

	Regression von $Y$ auf $X$
Koeffizient	Allgemeine Formel	Wert im Beispiel
Steigungsparameter der Regressionsgerade	${{\hat {\beta }}_{1}}_{x}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}$	${{\hat {\beta }}_{1}}_{x}={\frac {-55}{56}}=-0{,}98$
Niveauparameter der Regressionsgerade	${{\hat {\beta }}_{0}}_{x}={\overline {y}}-{{\hat {\beta }}_{1}}_{x}{\overline {x}}$	${{\hat {\beta }}_{0}}_{x}={\frac {30}{6}}-{\frac {-55}{56}}\cdot {\frac {90}{6}}=19{,}73$
Geschätzte Regressionsgerade	${\hat {y}}={{\hat {\beta }}_{0}}_{x}+{{\hat {\beta }}_{1}}_{x}x$	${\hat {y}}=19{,}73-0{,}98x$

Und die Werte für die Regression von $X$ auf $Y$ lauten:

	Regression von $X$ auf $Y$
Koeffizient	Allgemeine Formel	Wert im Beispiel
Steigungsparameter der Regressionsgerade	${{\hat {\beta }}_{1}}_{y}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}$	${{\hat {\beta }}_{1}}_{y}={\frac {-55}{60}}=-0{,}92$
Niveauparameter der Regressionsgerade	${{\hat {\beta }}_{0}}_{y}={\overline {x}}-{{\hat {\beta }}_{1}}_{y}{\overline {y}}$	${{\hat {\beta }}_{0}}_{y}={\frac {90}{6}}-{\frac {-55}{60}}\cdot {\frac {30}{6}}=19{,}58$
Geschätzte Regressionsgerade	${\hat {x}}={{\hat {\beta }}_{0}}_{y}+{{\hat {\beta }}_{1}}_{y}y$	${\hat {x}}=19{,}58-0{,}92y$

Das heißt, je nachdem ob man die Regression von $Y$ auf $X$ oder die Regression von $X$ auf $Y$ ausführt, erhält man unterschiedliche Regressionsparameter. Für die Berechnung des Korrelationskoeffizienten und des Bestimmheitsmaßes spielt jedoch die Regressionsrichtung keine Rolle.

Empirische Korrelation	$r_{xy}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sqrt {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\cdot \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}$	$r_{xy}={\frac {-55}{\sqrt {56\cdot 60}}}=-0{,}95$
Bestimmtheitsmaß	$R^{2}=r_{xy}^{2}$	$R^{2}=(-0{,}95)^{2}=0{,}90$

Verhältnis zur multiplen linearen Regression

→ Hauptartikel: Multiple lineare Regression

Die einfache lineare Regression ist ein Spezialfall der multiplen linearen Regression. Die multiple lineare Regressionsgleichung ist gegeben durch

$y_{i}=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\ldots +\beta _{k}x_{ik}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i}\quad i=1,\ldots ,n$,

wobei $p=k-1$, die Anzahl der exogenen Variablen darstellt. Für $k=2$, ergibt sich die lineare Einfachregression.

Einfache lineare Regression in R

Als einfaches Beispiel wird der Korrelationskoeffizient zweier Datenreihen berechnet:

# Groesse wird als numerischer Vektor
# durch den Zuweisungsoperator "<-" definiert:
Groesse <- c(176, 166, 172, 184, 179, 170, 176)

# Gewicht wird als numerischer Vektor definiert:
Gewicht <- c(65, 55, 67, 82, 75, 65, 75)

# Berechnung des Korrelationskoeffizienten nach Pearson mit der Funktion "cor":
cor(Gewicht, Groesse, method = "pearson")

Das Ergebnis lautet 0.9295038.

Grafikausgabe des Beispiels

Mithilfe der Statistiksoftware R kann eine einfache lineare Regression durchgeführt werden. Dies kann in R durch die Funktion lm ausgeführt werden, wobei die abhängige Variable von den unabhängigen Variablen durch die Tilde getrennt wird. Die Funktion summary gibt die Koeffizienten der Regression und weitere Statistiken hierzu aus:

# Lineare Regression mit Gewicht als Zielvariable
# Ergebnis wird als reg gespeichert:
reg <- lm(Gewicht~Groesse)

# Ausgabe der Ergebnisse der obigen linearen Regression:
summary(reg)

Diagramme lassen sich einfach erzeugen:

# Streudiagramm der Daten:
plot(Gewicht~Groesse)

# Regressionsgerade hinzufügen:
abline(reg)

Weblinks

Wikibooks: Einführung in die Regressionsrechnung – Lern- und Lehrmaterialien

Commons: Lineare Regression – Sammlung von Bildern, Videos und Audiodateien

Literatur

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0471624141, second edition 1988.
• Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley, New York 1998.
• Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6. durchges. u. aktualisierte Aufl. 2013
• Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2
• Gerhard Opfer: Numerische Mathematik für Anfänger. 2. Auflage. Vieweg Verlag, 1994.
• Peter Schönfeld: Methoden der Ökonometrie. Berlin/ Frankfurt 1969.
• Dieter Urban, Jochen Mayerl: Regressionsanalyse: Theorie, Technik und Anwendung. 2., überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.
• E. Zeidler (Hrsg.): Taschenbuch der Mathematik. (Bekannt als Bronstein und Semendjajew.) Stuttgart/ Leipzig/ Wiesbaden 2003.
• K. Backhaus, B. Erichson, W. Plinke, R. Weiber: Multivariate Analysemethoden. Eine anwendungsorientierte Einführung. 12. Auflage. Berlin u. a. 2008.
• M.-W. Stoetzer: Regressionsanalyse in der empirischen Wirtschafts- und Sozialforschung. Band 1: Eine nichtmathematische Einführung mit SPSS und Stata. Berlin 2017, ISBN 978-3-662-53824-1.