Statystyczna walidacja modelu - Statistical model validation

„Walidacja modelu” przekierowuje tutaj. Informacje na temat roli bankowości inwestycyjnej można znaleźć w części Analiza ilościowa (finanse) § Walidacja modelu .

W statystykach , walidacja modelu jest zadaniem potwierdzając, że wyjścia z modelu statystycznego są dopuszczalne w stosunku do rzeczywistego procesu generowania danych. Innymi słowy, walidacja modelu ma na celu potwierdzenie, że dane wyjściowe modelu statystycznego mają wystarczającą wierność wynikom procesu generowania danych, aby można było osiągnąć cele badania.

Przegląd

Walidacja modelu może opierać się na dwóch typach danych: danych, które zostały użyte do budowy modelu oraz danych, które nie zostały wykorzystane w konstrukcji. Walidacja oparta na pierwszym typie obejmuje zwykle analizę dopasowania modelu lub analizę, czy reszty wydają się być przypadkowe (czyli diagnostyka szczątkowa ). Walidacja oparta na drugim typie zwykle obejmuje analizę, czy predykcyjna wydajność modelu pogarsza się w sposób nieunikniony, gdy zostanie zastosowany do odpowiednich nowych danych.

Rysunek 1. Dane (czarne kropki), które zostały wygenerowane za pomocą linii prostej i dodatkowego szumu, są doskonale dopasowane przez zakrzywiony wielomian .

Walidacja oparta tylko na pierwszym typie (dane, które zostały użyte do budowy modelu) jest często niewystarczająca. Ekstremalny przykład pokazano na rysunku 1. Rysunek przedstawia dane (czarne kropki) wygenerowane za pomocą linii prostej + szum. Rysunek pokazuje również krzywą, która jest wielomianem wybranym tak, aby idealnie pasował do danych. Reszty krzywej wynoszą zero. W związku z tym walidacja oparta tylko na pierwszym typie danych pozwoliłaby stwierdzić, że krzywa była dobrym modelem. Jednak krzywa jest oczywiście kiepskim modelem: interpolacja, zwłaszcza między –5 a –4, byłaby bardzo myląca; co więcej, jakakolwiek istotna ekstrapolacja byłaby zła.

W związku z tym walidacja zwykle nie opiera się wyłącznie na uwzględnieniu danych, które zostały wykorzystane do budowy modelu; raczej walidacja zazwyczaj wykorzystuje również dane, które nie zostały wykorzystane w konstrukcji. Innymi słowy, walidacja zwykle obejmuje testowanie niektórych prognoz modelu.

Model można zweryfikować tylko w odniesieniu do pewnego obszaru zastosowań. Model, który jest ważny dla jednej aplikacji, może być nieprawidłowy dla innych aplikacji. Jako przykład rozważmy krzywą na rysunku 1: jeśli aplikacja wykorzystywała tylko dane wejściowe z przedziału [0, 2], to krzywa mogłaby być akceptowalnym modelem.

Metody walidacji

Według Encyklopedii Nauk Statystycznych podczas walidacji istnieją trzy godne uwagi przyczyny potencjalnych trudności . Oto trzy przyczyny: brak danych; brak kontroli nad zmiennymi wejściowymi; niepewność co do bazowych rozkładów prawdopodobieństwa i korelacji. Typowe metody radzenia sobie z trudnościami w walidacji obejmują: sprawdzenie założeń przyjętych podczas konstruowania modelu; badanie dostępnych danych i powiązanych wyników modelu; stosowanie oceny eksperta. Należy zauważyć, że ocena eksperta zwykle wymaga wiedzy specjalistycznej w obszarze zastosowań.

Czasami do oceny trafności prognozy bez uzyskiwania rzeczywistych danych można wykorzystać ocenę eksperta : np. W przypadku krzywej na rysunku 1 ekspert może być w stanie ocenić, czy istotna ekstrapolacja będzie nieważna. Ponadto ocena ekspercka może być wykorzystana w testach typu Turinga , w których eksperci otrzymują zarówno rzeczywiste dane, jak i powiązane wyniki modelu, a następnie proszeni są o rozróżnienie między nimi.

Dla niektórych klas modeli statystycznych dostępne są specjalistyczne metody przeprowadzania walidacji. Na przykład, jeśli model statystyczny został uzyskany poprzez regresję , to istnieją i są generalnie stosowane specjalistyczne analizy do walidacji modelu regresji .

Pozostała diagnostyka

Diagnostyka resztkowa obejmuje analizę reszt w celu określenia, czy pozostałości wydają się być skutecznie losowe. Takie analizy zazwyczaj wymagają oszacowania rozkładów prawdopodobieństwa dla reszt. Oszacowania rozkładów reszt można często uzyskać przez wielokrotne uruchamianie modelu, tj. Za pomocą powtarzanych symulacji stochastycznych (z wykorzystaniem generatora liczb pseudolosowych dla zmiennych losowych w modelu).

Jeżeli model statystyczny został uzyskany poprzez regresję, to istnieje diagnostyka regresyjno-szczątkowa i może być stosowana; taka diagnostyka została dobrze zbadana.

Zobacz też

Bibliografia

Dalsza lektura

Linki zewnętrzne