Середньоквадратична похибка

У статистиці середньоквадрати́чна по́хибка, сере́дня квадрати́чна по́хибка (СКП, англ. mean squared error, MSE) або середньоквадрати́чне відхи́лення, сере́днє квадрати́чне відхи́лення (СКВ, англ. mean squared deviation, MSD) оцінювача (процедури оцінювання неспостережуваної величини) вимірює усереднення квадратів похибок — тобто, середнє квадратичної різниці між оцінками значень та справжнім значенням. СКП є функцією ризику, яка відповідає математичному сподіванню квадрату похибкових втрат.^{[на чию думку?][прояснити: ком.]} Той факт, що СКП є майже завжди строго додатною (а не нульовою), випливає з випадковості, або з того, що оцінювач не враховує інформації, яка могла би давати точнішу оцінку.

СКП є мірою якості оцінювача. Оскільки вона походить від квадрата евклідової відстані, її значення є завжди додатним, і зменшується, коли похибка наближається до нуля.

СКП є другим моментом похибки (відносно оригіналу),^{[прояснити: ком.]} і, таким чином, охоплює як дисперсію оцінювача (наскільки широким є розкид оцінок від одного зразка даних до іншого), так і його зміщення (наскільки віддаленим є усереднене оцінене значення від істинного).^{[джерело?]} Для незміщеного оцінювача СКП є його дисперсією. Як і дисперсія, СКП має ті ж одиниці вимірювання, що й квадрат оцінюваної величини. За аналогією зі стандартним відхиленням, взяття квадратного кореня СКП дає кореневу середньоквадратичну похибку, або кореневе середньоквадратичне відхилення (КСКП або КСКВ, англ. RMSE, RMSD), що має ті ж одиниці вимірювання, що й оцінювана величина. Для незміщеного оцінювача КСКП є квадратним коренем дисперсії, відомим як стандартна похибка.

Визначення та основні властивості

СКП оцінює якість або передбачувача (тобто функції, що відображує довільні входи до вибірки значень деякої випадкової величини), або оцінювача (тобто математичної функції, що відображує вибірку даних до оцінки параметра сукупності, з якої відбираються ці дані). Визначення СКП різниться залежно від того, чи вона описує передбачувач, чи оцінювач.

Передбачувач

Якщо вектор з $n$ передбачень породжується з вибірки $n$ точок даних на всіх змінних, $Y$ є вектором спостережуваних значень передбачуваної змінної, а ${\hat {Y}}$ є передбаченими значеннями (наприклад, як із допасовування найменшими квадратами), тоді СКП цього передбачувача в межах цієї вибірки обчислюється як

$\operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(Y_{i}-{\hat {Y_{i}}})^{2}.$

Іншими словами, СКП є середнім значенням ${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$ квадратів похибок $\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}$. Це є легко обчислюваною величиною для конкретної вибірки (й отже, залежить від вибірки).

У матрицевому записі

$\operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e}$

де $e_{i}$ є $(Y_{i}-{\hat {Y_{i}}})$, а $\mathbf {e}$ є матрицею $n\times 1$.

СКП також можливо обчислювати на q точках даних, які не використовували для оцінювання моделі, чи то через те, що їх було притримано для цієї мети, чи то через те, що ці дані було отримано щойно. У цьому процесі (відомому як перехресне затверджування) СКП часто називають середньоквадратичною похибкою передбачування^{[джерело?]}, й обчислюють як

$\operatorname {MSPE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}.$

Оцінювач

СКП оцінювача ${\hat {\theta }}$ відносно невідомого параметра $\theta$ визначають як

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].$

Це визначення залежить від невідомого параметра, але СКП апріорі є властивістю оцінювача. СКП може бути функцією від невідомих параметрів, і в цьому випадку будь-який оцінювач СКП на основі оцінок цих параметрів буде функцією від даних (і відтак випадковою величиною). Якщо оцінювач ${\hat {\theta }}$ виводять як статистику вибірки й використовують для оцінювання якогось параметра сукупності, тоді математичне сподівання стосується ви́біркового розподілу цієї статистики вибірки.

СКП можливо записувати як суму дисперсії оцінювача та квадрату його зміщення, що забезпечує корисний спосіб обчислювання СКП й виражає те, що у випадку незміщених оцінювачів СКП та дисперсія дорівнюють одна одній.

$\operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.$

Доведення взаємозв'язку з дисперсією та зміщенням

${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}$

Як альтернативний варіант, маємо

${\begin{aligned}\mathbb {E} (\theta -{\hat {\theta }})^{2}&=\mathbb {E} ({\hat {\theta }}^{2})+\mathbb {E} (\theta ^{2})-2\theta \mathbb {E} ({\hat {\theta }})\\&=\operatorname {Var} ({\hat {\theta }})+(\mathbb {E} {\hat {\theta }})^{2}+\theta ^{2}-2\theta \mathbb {E} ({\hat {\theta }})\\&=\operatorname {Var} ({\hat {\theta }})+(\mathbb {E} {\hat {\theta }}-\theta )^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }})\end{aligned}}$

Але у випадку реального моделювання, СКП можливо описувати як суму дисперсії моделі, зміщення моделі, та незвідної невизначеності^{[джерело?][прояснити: ком.]}. Відповідно до цього взаємозв'язку, СКП оцінювачів можливо просто використовувати для порівнювання ефективності, що враховує інформацію про дисперсію та зміщення оцінювача. Це називають критерієм СКП (англ. MSE criterion).

У регресії

Детальніші відомості з цієї теми ви можете знайти в статті Зменшена статистика хі-квадрат.

В регресійному аналізі природнішим способом перегляду загальної тенденції даних у цілому є побудова графіків. Середнє значення відстані від кожної з точок до передбачуваної регресійної моделі можливо обчислювати й показувати як середньоквадратичну похибку. Піднесення до квадрату має вирішальне значення для подолання складності з від'ємними знаками. Для мінімізування СКП модель може бути точнішою, що означатиме, що модель є ближчою до фактичних даних. Одним із прикладів лінійної регресії з використанням цього методу є метод найменших квадратів, який оцінює адекватність моделі лінійної регресії для моделювання двовимірного набору даних, але обмеження якого пов'язане з відомим розподілом цих даних.

Термін середньоквадратична похибка іноді використовують як позначення незміщеної оцінки дисперсії похибок: за́лишкової суми квадратів, поділеної на кількість ступенів вільності. Це визначення для відомої, обчислюваної величини відрізняється від наведеного вище визначення для обчислюваної СКП передбачувача використанням іншого знаменника. Цим знаменником є розмір вибірки, зменшений на кількість параметрів моделі, оцінюваних з тих самих даних, (n − p) для p регресорів, або (n − p − 1), якщо використовують відтин (докладніше див. похибки та залишки у статистиці). Незважаючи на те, що СКП (визначене як у цій статті) не є незміщеним оцінювачем дисперсії похибок, вона є слушним оцінювачем за умови слушності передбачувача.

У регресійнім аналізі «середньоквадратична похибка», яку часто називають середньоквадратичною похибкою передбачування або «позави́бірковою середньоквадратичною похибкою» (англ. out-of-sample mean squared error), може також позначувати середнє значення квадратів відхилень передбачень від істинних значень на позавибірковому випробувальному просторі, породженому моделлю, оціненою за певним ви́бірковим простором. Вона також є відомою, обчислюваною величиною, і вона різниться залежно від вибірки та позавибіркового випробувального простору.

Приклади

Середнє значення

Нехай є випадкова вибірка розміру $n$ з генеральної сукупності, $X_{1},\dots ,X_{n}$. Нехай зразки вибірки було вибрано з вертанням. Тобто, $n$ зразків вибирають по одному, і раніше вибрані зразки все одно мають право бути вибраними для всіх $n$ витягувань. Звичайним оцінювачем для $\mu$ є ви́біркове середнє

${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$

яке має математичне сподівання, що дорівнює істинному середньому $\mu$ (тож воно є незміщеним), і середньоквадратичну похибку

$\operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}$

де $\sigma ^{2}$ є дисперсією сукупності.

Це є найкращим незміщеним оцінювачем (тобто тим, що має найнижчу СКП серед усіх незміщених оцінювачів) для гауссового розподілу, але не для, скажімо, рівномірного розподілу.

Дисперсія

Звичайним оцінювачем дисперсії є виправлена дисперсія вибірки:

$S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).$

Він є незміщеним (його математичним сподіванням є $\sigma ^{2}$), й відтак його також називають незміщеною дисперсією вибірки, а його СКП становить

$\operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},$

де $\mu _{4}$ є четвертим центральним моментом розподілу або сукупності, а $\gamma _{2}=\mu _{4}/\sigma ^{4}-3$ є коефіцієнтом ексцесу.

Проте можливо використовувати й інші оцінювачі для $\sigma ^{2}$, пропорційні $S_{n-1}^{2}$, і належний вибір може завжди давати нижчу середньоквадратичну похибку. Якщо ми визначимо

$S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$

тоді обчислюємо:

${\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}$

Це мінімізується, коли

$a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.$

Для гауссового розподілу, де $\gamma _{2}=0$, це означає, що СКП зводиться до мінімуму при діленні суми на $a=n+1$ . Мінімальний коефіцієнт ексцесу становить $\gamma _{2}=-2$, що досягається розподілом Бернуллі з p = 1/2 (підкидання монети), й СКП зводиться до мінімуму при $a=n-1+{\tfrac {2}{n}}.$ Отже, незалежно від коефіцієнту ексцесу, ми отримуємо «кращу» оцінку (в сенсі нижчої СКП), трохи зменшивши незміщений оцінювач. Це є простим прикладом стискального оцінювача: оцінювач «стискають» у бік нуля (зменшують незміщений оцінювач).

Далі, хоч виправлена дисперсія вибірки і є найкращим незміщеним оцінювачем (мінімальна середньоквадратична похибка серед незміщених оцінювачів) дисперсії для гауссових розподілів, якщо розподіл не є гауссовим, то навіть серед незміщених оцінювачів $S_{n-1}^{2}$ найкращим незміщеним оцінювачем дисперсії бути не може.

Гауссів розподіл

В наступній таблиці наведено декілька оцінювачів істинних параметрів сукупності, μ та σ², для гауссового випадку.

Істинне значення	Оцінювач	Середньоквадратична похибка
$\theta =\mu$	${\hat {\theta }}$ = незміщений оцінювач середнього значення сукупності, ${\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i})$	$\operatorname {MSE} ({\overline {X}})=\operatorname {E} (({\overline {X}}-\mu )^{2})=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = незміщений оцінювач дисперсії сукупності, $S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n-1}^{2})=\operatorname {E} ((S_{n-1}^{2}-\sigma ^{2})^{2})={\frac {2}{n-1}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = зміщений оцінювач дисперсії сукупності, $S_{n}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n}^{2})=\operatorname {E} ((S_{n}^{2}-\sigma ^{2})^{2})={\frac {2n-1}{n^{2}}}\sigma ^{4}$
$\theta =\sigma ^{2}$	${\hat {\theta }}$ = зміщений оцінювач дисперсії сукупності, $S_{n+1}^{2}={\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$	$\operatorname {MSE} (S_{n+1}^{2})=\operatorname {E} ((S_{n+1}^{2}-\sigma ^{2})^{2})={\frac {2}{n+1}}\sigma ^{4}$

Інтерпретація

Нульова СКП, що означає, що оцінювач ${\hat {\theta }}$ передбачує спостереження параметру $\theta$ з бездоганною точністю, є ідеальною (але зазвичай неможливою).

Значення СКП можна використовувати з метою порівнювання. Дві або більше статистичних моделей можна порівнювати, використовуючи їхні СКП — як міру того, наскільки добре вони пояснюють заданий набір спостережень: незміщений оцінювач (оцінений зі статистичної моделі) з найменшою дисперсією серед усіх незміщених оцінювачів є найкращим незміщеним оцінювачем, або англ. MVUE (Minimum Variance Unbiased Estimator).

Як методика лінійної регресії, так і методика дисперсійного аналізу оцінюють СКП як частину аналізу й використовують оцінену СКП, щоби визначати статистичну значущість досліджуваних чинників або предикторів. Метою планування експериментів є побудова експериментів таким чином, щоби при аналізі спостережень СКП була близькою до нуля відносно величини щонайменше одного з оцінюваних впливів експерименту.

В однофакторнім дисперсійнім аналізі СКП можливо обчислювати шляхом ділення суми квадратів похибок на ступінь вільності. Також, F-значення є відношенням середньоквадратичного впливу до СКП.

СКП також використовують у декількох методиках покрокової регресії як частину визначання того, скільки предикторів з набору кандидатів включити до моделі для заданого набору спостережень.

Застосування

• Зведення СКП до мінімуму є ключовим критерієм обирання оцінювачів, див. мінімальну середньоквадратичну похибку. Серед незміщених оцінювачів зведення СКП до мінімуму еквівалентне зведенню до мінімуму дисперсії, а оцінювач, який робить це, є мінімально-дисперсійним незміщеним оцінювачем. Проте зміщений оцінювач може мати нижчу СКП, див. зміщення оцінювача.
• У статистичному моделюванні СКП може подавати різницю між фактичними спостереженнями та значеннями спостережень, передбаченими моделлю. У цьому контексті її використовують для того, щоб визначати, наскільки модель допасовано до даних, а також чи можливо вилучити деякі пояснювальні змінні без значної шкоди для передбачувальної здатності моделі.
• Оцінка Браєра у прогнозуванні та передбачуванні є мірою справджуваності прогнозу, що ґрунтується на СКП.

Функція втрат

Втрати квадрату похибки є однією з найширше використовуваних функцій втрат у статистиці^{[джерело?]}, хоча її широке використання більше випливає з математичної зручності, ніж з міркувань фактичних втрат у застосуваннях. Карл Фрідріх Гаусс, який запровадив використання середньоквадратичної похибки, усвідомлював її довільність і погоджувався з запереченнями проти неї на цих підставах. Математичні переваги середньоквадратичної похибки особливо очевидні при її використанні для аналізу продуктивності лінійної регресії, оскільки це дозволяє розділити дисперсію в наборі даних на дисперсію, що пояснюється моделлю, та дисперсію, що пояснюється випадковістю.

Критика

Беззаперечне використання середньоквадратичної похибки критикував фахівець із теорії рішень Джеймс Бергер. Середньоквадратична похибка — це мінус математичного сподівання однієї конкретної функції корисності, квадратичної, яка може не бути слушною функцією корисності для використання за заданої сукупності обставин. Проте існують деякі сценарії, за яких середньоквадратична похибка може слугувати добрим наближенням функції втрат, що зустрічається у застосуванні природним чином.

Як і дисперсія, середньоквадратична похибка має недолік надавання великої ваги викидам. Це є результатом піднесенням до квадрату кожного члену, через яке більші похибки заважують сильніше за менші. Ця властивість, небажана у багатьох застосуваннях, змусила дослідників використовувати такі альтернативи як середня абсолютна похибка, або такі, що ґрунтуються на медіані.

Див. також

• Зважене середньоквадратичне відхилення
• Компроміс зміщення та дисперсії
• Мінімальна середньоквадратична похибка
• Оцінювач на основі мінімальної середньоквадратичної похибки
• Оцінювач Годжеса
• Оцінювач Джеймса — Стайна
• Перенавчання
• Пікове відношення сигналу до шуму
• Середньоквадратичне зміщення
• Середньоквадратична похибка квантування
• Середньоквадратична похибка передбачування
• Середня відсоткова похибка