Stichproben-Regressionsfunktion

In der Statistik bezeichnet eine Stichproben-Regressionsfunktion, auch empirische Regressionsfunktion (englisch sample regression function, kurz: SRF) die geschätzte Version der Regressionsfunktion der Grundgesamtheit. Die Stichprobenregressionsfunktion ist fix, aber in der Grundgesamtheit unbekannt. Handelt es sich bei der Regressionsfunktion um eine Gerade, dann ist auch von einer Stichproben-Regressionsgerade, oder empirischen Regressionsgerade die Rede. Die Stichproben-Regressionsgerade wird als Kleinste-Quadrate-Regressionsgerade (kurz: KQ-Regressionsgerade) aus Beobachtungspaaren, die Datenpunkte repräsentieren, gewonnen. Sie stellt laut dem Kleinste-Quadrate-Kriterium die bestmögliche Anpassung an die Daten dar.

Einfache lineare Regression

Wenn man mittels der Kleinste-Quadrate-Schätzung den Kleinste-Quadrate-Schätzer für die Steigung ${\hat {\beta }}_{1}=SP_{xy}/SQ_{x}$ und den Kleinste-Quadrate-Schätzer für das Absolutglied ${\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}}$ ermittelt, dann erhält man die folgende KQ-Regressionsgerade

${\hat {y}}={\widehat {\operatorname {E} (y\mid X=x)}}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x\quad$.

Diese wird auch Stichprobenregressionsfunktion genannt, da sie eine geschätzte Variante der (theoretischen) Regressionsfunktion der Grundgesamtheit

$\operatorname {E} (y\mid X=x)=\beta _{0}+\beta _{1}x\quad$

ist. Die Parameter ${\hat {\beta }}_{0}$ und ${\hat {\beta }}_{1}$ werden auch empirische Regressionskoeffizienten genannt. Da die Stichprobenregressionsfunktion durch eine gegebene Stichprobe gewonnen wird, liefert eine neue Stichprobe einen neuen Anstieg ${\hat {\beta }}_{1}$ und ein neues Absolutglied ${\hat {\beta }}_{0}$. In den meisten Fällen kann man den Kleinste-Quadrate-Schätzer für die Steigung darstellen als

${\hat {\beta }}_{1}=\Delta {\hat {y}}/\Delta x$

Durch diese Darstellung kann man erkennen, dass der Kleinste-Quadrate-Schätzer für die Steigung wiedergibt, wie stark sich die Zielgröße $y$ verändert, wenn sich die Einflussgröße $x$ um eine Einheit erhöht.

Multiple lineare Regression

Gegeben ein typisches multiples lineares Regressionsmodell $\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$, mit ${\boldsymbol {\beta }}$ dem $p\times 1$ Vektor der unbekannten Regressionsparameter, der $n\times p$ Versuchsplanmatrix $\mathbf {X}$, dem $n\times 1$ Vektor der abhängigen Variablen $\mathbf {y}$ und dem $n\times 1$ Vektor der Störgrößen ${\boldsymbol {\varepsilon }}$. Dann ist die KQ-Stichproben-Regressionsfunktion ${\hat {\mathbf {y} }}$ gegeben durch

${\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\underbrace {\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }} _{=\mathbf {P} }\mathbf {y} =\mathbf {P} \mathbf {y}$,

wobei ${\boldsymbol {P}}$ die Prädiktionsmatrix darstellt.