Twierdzenie Karhunena-Loève'a - Karhunen–Loève theorem

W teorii procesów stochastycznych The twierdzenie Karhunen-Loeve (nazwane Kari Karhunen i Michel Loeve ), znany również jako Kosambi-Karhunen-Loeve twierdzenie jest przedstawieniem stochastycznego procesu jako nieskończona kombinacji liniowej funkcji ortogonalnych , analogicznie do szereg Fouriera reprezentacja funkcji w ograniczonym przedziale. Transformacja ta jest również znana jako transformata Hotellinga i transformata wektora własnego i jest ściśle związana z techniką analizy głównych składowych (PCA) szeroko stosowaną w przetwarzaniu obrazów i analizie danych w wielu dziedzinach.

Procesy stochastyczne podane przez nieskończone serie tej formy zostały po raz pierwszy rozważone przez Damodara Dharmanandę Kosambi . Istnieje wiele takich ekspansją stochastycznego procesu: gdy proces jest indeksowany przez [ a , b ] każdy ortonormalną podstawę z L ² ([ , b ]) otrzymuje się jego ekspansję w tej formie. Znaczenie twierdzenia Karhunena-Loève'a polega na tym, że daje ono najlepszą taką podstawę w tym sensie, że minimalizuje całkowity błąd średniokwadratowy .

W przeciwieństwie do szeregu Fouriera, w którym współczynniki są liczbami stałymi, a podstawa rozwinięcia składa się z funkcji sinusoidalnych (czyli funkcji sinusoidalnych i cosinusoidalnych ), współczynniki w twierdzeniu Karhunena-Loève'a są zmiennymi losowymi, a podstawa rozwinięcia zależy od procesu. W rzeczywistości ortogonalne funkcje bazowe używane w tej reprezentacji są określone przez funkcję kowariancji procesu. Można sądzić, że transformacja Karhunena-Loève'a dostosowuje się do procesu, aby stworzyć jak najlepszą podstawę dla swojej ekspansji.

W przypadku wycentrowanego procesu stochastycznego { X _t } _{t ∈ [ a , b ]} ( wycentrowane średnie E [ X _t ] = 0 dla wszystkich t ∈ [ a , b ] ) spełniających warunek ciągłości technicznej, X _t dopuszcza rozkład

${\ Displaystyle X_ {t} = \ suma _ {k = 1} ^ {\ infty} Z_ {k} e_ {k} (t)}$

gdzie Z _k są parami nieskorelowanymi zmiennymi losowymi, a funkcje e _k są ciągłymi funkcjami o wartościach rzeczywistych na [ a , b ] , które są parami ortogonalne w L ² ( [ a , b ] ) . Dlatego czasami mówi się, że rozwinięcie jest bi-ortogonalne, ponieważ współczynniki losowe Z _k są ortogonalne w przestrzeni prawdopodobieństwa, podczas gdy funkcje deterministyczne e _k są ortogonalne w dziedzinie czasu. Ogólny przypadek procesu X _t, który nie jest wyśrodkowany, można sprowadzić z powrotem do przypadku procesu wyśrodkowanego, biorąc pod uwagę X _t - E [ X _t ], który jest procesem wyśrodkowanym.

Ponadto, jeśli proces jest gaussowski , to zmienne losowe Z _k są gaussowskie i stochastycznie niezależne . Wynik ten uogólnia transformatę Karhunena-Loève'a . Ważnym przykładem wyśrodkowanego rzeczywistego procesu stochastycznego na [0, 1] jest proces Wienera ; twierdzenie Karhunena-Loève'a może być użyte do zapewnienia kanonicznej reprezentacji ortogonalnej dla niego. W tym przypadku rozwinięcie składa się z funkcji sinusoidalnych.

Powyższy Ekspansja nieskorelowanych zmiennych losowych są znane również jako rozszerzenie Karhunen-Loeve lub rozkładu Karhunen-Loeve . Wersja empiryczna (tj. ze współczynnikami obliczonymi z próbki) jest znana jako transformata Karhunena-Loève'a (KLT), analiza głównych składowych , właściwa dekompozycja ortogonalna (POD) , empiryczne funkcje ortogonalne (termin używany w meteorologii i geofizyce ), lub przekształcenie Hotellinga .

Sformułowanie

• W tym artykule rozważymy całkowalny do kwadratu proces losowy o średniej zerowej X _t zdefiniowany w przestrzeni prawdopodobieństwa (Ω, F , P ) i indeksowany w przedziale domkniętym [ a , b ] , z funkcją kowariancji K _X ( s , t ) . Mamy więc:

${\ Displaystyle \ forall t \ w [a, b] \ qquad X_ {t} \ w L ^ {2} (\ Omega, F \ mathbf {P})}$

${\ Displaystyle \ forall t \ w [a, b] \ qquad \ mathbf {E} [X_ {t}] = 0,}$

${\ Displaystyle \ forall t, s \ w [a, b] \ qquad K_ {X} (s, t) = \ mathbf {E} [X_ {s} X_ {t}].}$

• My skojarzenia z K _X operatora liniowego T _{K X} zdefiniowano w następujący sposób:

${\ Displaystyle {\ zacząć {wyrównany} i T_ {K_ {X}} i: L ^ {2} ([a, b]) i \ do L ^ {2} ([a, b]) \ \ i &: f \mapsto T_{K_{X}}f&=\int _{a}^{b}K_{X}(s,\cdot )f(s)\,ds\end{wyrównany}}}$

Ponieważ T _{K X} jest operatorem liniowym, sensowne jest mówienie o jego wartościach własnych λ _k i funkcjach własnych e _k , które znajdują się rozwiązując jednorodne równanie całkowe Fredholma drugiego rodzaju

${\ Displaystyle \ int _ {a} ^ {b} K_ {X} (s, t) e_ {k} (s) \, ds = \ lambda _ {k} e_ {k} (t)}$

Stwierdzenie twierdzenia

Twierdzenie . Niech X _t będzie procesem stochastycznym całkowalnym ze średnią kwadratową zdefiniowanym w przestrzeni prawdopodobieństwa (Ω, F , P ) i indeksowanym w przedziale zamkniętym i ograniczonym [ a ,  b ], z ciągłą funkcją kowariancji K _X ( s , t ) .

Następnie K _X ( s, t ) jest Mercer jądra i pozwalając e _k być podstawą ortonormalną na L ² ([ , b ]), utworzony przez funkcyj T _{K X} o odpowiednich wartości własnych X _K X _T przyjmuje następującą reprezentację

${\ Displaystyle X_ {t} = \ suma _ {k = 1} ^ {\ infty} Z_ {k} e_ {k} (t)}$

gdzie zbieżność jest w L ² , jednostajna w t i

${\ Displaystyle Z_ {k} = \ int _ {a} ^ {b} X_ {t} e_ {k} (t) \ dt}$

Ponadto zmienne losowe Z _k mają zerową średnią, są nieskorelowane i mają wariancję λ _k

${\ Displaystyle \ mathbf {E} [Z_ {k}] = 0 ~ \ forall k \ w \ mathbb {N} \ qquad {\ mbox {i}} \ qquad \ mathbf {E} [Z_ {i} Z_ {j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N} }$

Zauważmy, że przez uogólnienia twierdzenia Mercera możemy zastąpić przedział [ a , b ] innymi zwartymi przestrzeniami C , a miarę Lebesgue'a na [ a , b ] miarą borelowską, której oparciem jest C .

Dowód

• Funkcja kowariancji K _X spełnia definicję jądra Mercera. O tw Mercer , to w związku z tym istnieje zestaw X _k , e _k ( t ) o wartości i funkcyj T _{K X} stanowiące podstawę ortonormalną z L ² ([ , b ]) , i K _X można wyrazić

${\ Displaystyle K_ {X} (s, t) = \ suma _ {k = 1} ^ {\ infty} \ lambda _ {k} e_ {k} (s) e_ {k} (t)}$

• Proces X _t można rozszerzyć pod względem funkcji własnych e _k jako:

${\ Displaystyle X_ {t} = \ suma _ {k = 1} ^ {\ infty} Z_ {k} e_ {k} (t)}$

gdzie współczynniki (zmienne losowe) Z _k są podane przez rzut X _t na odpowiednie funkcje własne

${\ Displaystyle Z_ {k} = \ int _ {a} ^ {b} X_ {t} e_ {k} (t) \ dt}$

• Możemy wtedy wyprowadzić

${\ Displaystyle {\ zacząć {wyrównany} \ mathbf {e} [Z_ {k}] i = \ mathbf {e} \ lewo [\ int _ {a} ^ {b} X_ {t} e_ {k} (t )\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [ Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j }(t)e_{i}(s)\,dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \ left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}\int _ {a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b} e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)\,dt\right)\,ds\\&=\ lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)\,ds\\&=\delta _{ij}\lambda _{j}\end {wyrównany}}}$

gdzie użyliśmy fakt, że e _k są funkcjami własnymi T _{K X} i są ortonormalna.

• Pokażmy teraz, że zbieżność zachodzi w L ² . Pozwolić

${\ Displaystyle S_ {N} = \ suma _ {k = 1} ^ {N} Z_ {k} e_ {k} (t).}$

Następnie:

${\ Displaystyle {\ zacząć {wyrównany} \ mathbf {E} \ lewo [\ lewo | X_ {T} - S_ {N} \ po prawej | ^ {2} \ po prawej] & = \ mathbf {E} \ po lewej [X_ {t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right ]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k }Z_{\ell }e_{k}(t)e_{\ell }(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N} Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k} (t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k }(s)e_{k}(t)\,ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_ {k}(t)^{2}\end{wyrównany}}}$

co idzie do 0 przez twierdzenie Mercera.

Właściwości transformaty Karhunena-Loève'a

Przypadek szczególny: rozkład Gaussa

Ponieważ granica średniej łącznie gaussowskich zmiennych losowych jest łącznie gaussowska, a łącznie gaussowskie zmienne losowe (centrowane) są niezależne wtedy i tylko wtedy, gdy są ortogonalne, możemy również stwierdzić:

Twierdzenie . Zmienne Z _i mają wspólny rozkład Gaussa i są stochastycznie niezależne, jeśli pierwotny proces { X _t } _t jest gaussowski.

W przypadku Gaussa, ponieważ zmienne Z _i są niezależne, możemy powiedzieć więcej:

${\ Displaystyle \ lim _ {N \ do \ infty} \ suma _ {i = 1} ^ {N} e_ {i} (t) Z_ {i} (\ omega) = X_ {t} (\ omega)}$

prawie na pewno.

Transformacja Karhunena-Loève'a dekorelacji procesu

Jest to konsekwencją niezależności Z _k .

Rozszerzenie Karhunena-Loève'a minimalizuje całkowity błąd średniokwadratowy

We wstępie wspomnieliśmy, że obcięte rozwinięcie Karhunena-Loeve'a było najlepszym przybliżeniem pierwotnego procesu w tym sensie, że zmniejsza całkowity błąd średniokwadratowy wynikający z jego obcięcia. Ze względu na tę właściwość często mówi się, że transformata KL optymalnie kompaktuje energię.

Dokładniej, mając dowolną bazę ortonormalną { f _k } z L ² ([ a , b ] ) , możemy rozłożyć proces X _t jako:

${\ Displaystyle X_ {t} (\ omega) = \ suma _ {k = 1} ^ {\ infty} A_ {k} (\ omega) f_ {k} (t)}$

gdzie

${\ Displaystyle A_ {k} (\ omega) = \ int _ {a} ^ {b} X_ {t} (\ omega) f_ {k} (t) \ dt}$

i możemy przybliżyć X _t przez skończoną sumę

${\ Displaystyle {\ kapelusz {X}} _ {t} (\ omega) = \ suma _ {k = 1} ^ {N} A_ {k} (\ omega) f_ {k} (t)}$

dla jakiejś liczby całkowitej N .

Roszczenie . Ze wszystkich takich przybliżeń przybliżenie KL jest tym, które minimalizuje całkowity błąd średniokwadratowy (pod warunkiem, że ułożyliśmy wartości własne w porządku malejącym).

Wyjaśniona wariancja

Ważnym spostrzeżeniem jest to, że skoro współczynniki losowe Z _k rozwinięcia KL są nieskorelowane, wzór Bienaymé zakłada, że wariancja X _t jest po prostu sumą wariancji poszczególnych składników sumy:

${\ Displaystyle \ operatorname {var} [X_ {t}] = \ suma _ {k = 0} ^ {\ infty} e_ {k} (t) ^ {2} \ operatorname {var} [Z_ {k}] =\suma _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}}$

Integracja przez [ , b ], a następnie za pomocą ortonormalność z e _k , otrzymujemy że całkowita wariancja procesu jest:

${\ Displaystyle \ int _ {a} ^ {b} \ nazwa operatora {var} [X_ {t}] \, dt = \ suma _ {k = 1} ^ {\ infty} \ lambda _ {k}}$

W szczególności całkowita wariancja przybliżenia obciętego przez N wynosi

${\ Displaystyle \ suma _ {k = 1} ^ {N} \ lambda _ {k}.}$

W rezultacie rozwinięcie obcięte przez N wyjaśnia

${\ Displaystyle {\ Frac {\ suma _ {k = 1} ^ {N} \ lambda _ {k}} {\ suma _ {k = 1} ^ {\ infty} \ lambda _ {k}}}}$

wariancji; a jeśli zadowala nas przybliżenie, które wyjaśnia, powiedzmy, 95% wariancji, to musimy po prostu wyznaczyć takie, że ${\ Displaystyle N \ w \ mathbb {N}}$

${\ Displaystyle {\ Frac {\ suma _ {k = 1} ^ {N} \ lambda _ {k}} {\ suma _ {k = 1} ^ {\ infty} \ lambda _ {k}}} \ geq 0,95.}$

Rozszerzenie Karhunen-Loève ma minimalną właściwość entropii reprezentacji

Mając reprezentację , dla pewnej bazy ortonormalnej i losowej , pozwalamy , aby . Możemy wtedy zdefiniować entropię reprezentacji jako . Następnie mamy dla wszystkich wyborów . Oznacza to, że rozszerzenie KL ma minimalną entropię reprezentacji. ${\ Displaystyle X_ {t} = \ suma _ {k = 1} ^ {\ infty} W_ {k} \ varphi _ {k} (t)}$${\ Displaystyle \ varphi _ {k} (t)}$${\ Displaystyle W_ {k}}$${\ Displaystyle p_ {k} = \ mathbb {E} [| W_ {k} | ^ {2}] / \ mathbb {E} [| X_ {t} | _ {L ^ {2}} ^ {2} ]}$${\ Displaystyle \ suma _ {k = 1} ^ {\ infty} p_ {k} = 1}$${\ Displaystyle H (\ {\ varphi _ {k} \}) = - \ suma _ {i} p_ {k} \ log (p_ {k})}$${\ Displaystyle H (\ {\ varphi _ {k} \}) \ geq H (\ {e_ {k} \})}$${\ Displaystyle \ varphi _ {k}}$

Dowód:

Oznacz otrzymane współczynniki dla bazy jako , oraz dla jako . ${\ Displaystyle e_ {k} (t)}$${\displaystyle p_{k}}$${\ Displaystyle \ varphi _ {k} (t)}$${\displaystyle q_{k}}$

Wybierz . Zauważ, że ponieważ minimalizuje błąd średniokwadratowy, mamy to ${\displaystyle N\geq 1}$${\displaystyle e_{k}}$

${\ Displaystyle \ mathbb {E} \ lewo | \ suma _ {k = 1} ^ {N} Z_ {k} e_ {k} (t) -X_ {t} \ prawej | _ {L ^ {2}} ^{2}\leq \mathbb {E} \left|\sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right|_{L ^{2}}^{2}}$

Rozszerzając rozmiar prawej dłoni otrzymujemy:

${\ Displaystyle \ mathbb {E} \ lewo | \ suma _ {k = 1} ^ {N} W_ {k} \ varphi _ {k} (t) -X_ {t} \ prawej | _ {L ^ {2 }}^{2}=\mathbb {E} |X_{t}^{2}|_{L^{2}}+\sum _{k=1}^{N}\sum _{\ell = 1}^{N}\mathbb {E} [W_{\ell }\varphi _{\ell }(t)W_{k}^{*}\varphi _{k}^{*}(t)]_ {L^{2}}-\sum _{k=1}^{N}\mathbb {E} [W_{k}\varphi _{k}X_{t}^{*}]_{L^{ 2}}-\sum _{k=1}^{N}\mathbb {E} [X_{t}W_{k}^{*}\varphi _{k}^{*}(t)]_{ L^{2}}}$

Korzystanie z ortonormalność się i rozwija w oparciu, otrzymamy, że odpowiedni rozmiar strony jest równy: ${\ Displaystyle \ varphi _ {k} (t)}$${\ Displaystyle X_ {t}}$${\ Displaystyle \ varphi _ {k} (t)}$

${\ Displaystyle \ mathbb {E} [X_ {t}] _ {L ^ {2}} ^ {2} - \ suma _ {k = 1} ^ {N} \ mathbb {E} [| W_ {k} |^{2}]}$

Możemy przeprowadzić identyczną analizę dla , a więc przepisać powyższą nierówność jako: ${\ Displaystyle e_ {k} (t)}$

${\ Displaystyle {\ Displaystyle \ mathbb {E} [X_ {T}] _ {L ^ {2}} ^ {2} - \ suma _ {k = 1} ^ {N} \ mathbb {E} [| Z_ {K} | ^ {2}]} \ leq {\ Displaystyle \ mathbb {E} [X_ {t}] _ {L ^ {2}} ^ {2} - \ suma _ {k = 1} ^ {N }\mathbb {E} [|W_{k}|^{2}]}}$

Odejmując wspólny pierwszy wyraz i dzieląc przez , otrzymujemy, że: ${\ Displaystyle \ mathbb {E} [| X_ {t} | _ {L ^ {2}} ^ {2}]}$

${\ Displaystyle \ suma _ {k = 1} ^ {N} p_ {k} \ geq \ suma _ {k = 1} ^ {N} q_ {k}}$

To daje do zrozumienia ze:

${\ Displaystyle - \ suma _ {k = 1} ^ {\ infty} p_ {k} \ log (p_ {k}) \ leq - \ suma _ {k = 1} ^ {\ infty} q_ {k} \ log(q_{k})}$

Liniowe przybliżenia Karhunena-Loève'a

Rozważ całą klasę sygnałów, które chcemy aproksymować na pierwszych M wektorach bazy. Sygnały te są modelowane jako realizacje losowego wektora Y [ n ] o rozmiarze N . Aby zoptymalizować aproksymację, projektujemy bazę, która minimalizuje średni błąd aproksymacji. Ta sekcja dowodzi, że optymalnymi bazami są bazy Karhunena-Loeve'a, które diagonalizują macierz kowariancji Y . Losowy wektor Y można rozłożyć w bazie ortogonalnej

${\ Displaystyle \ lewo \ {g_ {m} \ po prawej \} _ {0 \ równoważnik m \ równoważnik N}}$

następująco:

${\ Displaystyle Y = \ suma _ {m = 0} ^ {N-1} \ lewo \ langle Y, g_ {m} \ prawo \ rangle g_ {m}}$

gdzie każdy?

${\ Displaystyle \ lewo \ langle Y, g_ {m} \ prawo \ rangle = \ suma _ {n = 0} ^ {N-1} {Y [n]} g_ {m} ^ {*} [n]}$

jest zmienną losową. Aproksymacja z pierwszych M ≤ N wektorów bazy to

${\ Displaystyle Y_ {M} = \ suma _ {m = 0} ^ {M-1} \ lewo \ langle Y, g_ {m} \ prawo \ rangle g_ {m}}$

Zachowanie energii w bazie ortogonalnej implikuje

${\ Displaystyle \ varepsilon [M] = \ mathbf {E} \ lewo \ {\ lewo \ | Y-Y_ {M} \ po prawej \ | ^ {2} \ po prawej \} = \ suma _ {m = M} ^ {N-1}\mathbf {E} \left\{\left|\left\langle Y,g_{m}\right\rangle \right|^{2}\right\}}$

Ten błąd jest związany z kowariancją Y zdefiniowaną przez

${\ Displaystyle R [n, m] = \ mathbf {E} \ lewo \ {Y [n] Y ^ {*} [m] \ prawo \}}$

Dla dowolnego wektora x [ n ] oznaczamy przez K operator kowariancji reprezentowany przez tę macierz,

${\ Displaystyle \ mathbf {E} \ lewo \ {\ lewo | \ langle Y, x \ rangle \ prawo | ^ {2} \ prawo \} = \ langle Kx, x \ rangle = \ suma _ {n = 0} ^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]}$

Błąd ε [ M ] jest więc sumą ostatnich N − M współczynników operatora kowariancji

${\ Displaystyle \ varepsilon [M] = \ suma _ {m = M} ^ {N-1} {\ po lewej \ langle Kg_ {m}, g_ {m} \ po prawej \ rangle}}$

Operator kowariancji K jest hermitowski i dodatni, a zatem jest diagonalizowany w ortogonalnej bazie zwanej bazą Karhunena-Loève'a. Poniższe twierdzenie stwierdza, że ​​baza Karhunena-Loève'a jest optymalna dla przybliżeń liniowych.

Twierdzenie (Optymalność bazy Karhunena-Loève'a). Niech K będzie operatorem kowariancji. Dla wszystkich M ≥ 1 błąd aproksymacji

${\ Displaystyle \ varepsilon [M] = \ suma _ {m = M} ^ {N-1} \ po lewej \ langle Kg_ {m}, g_ {m} \ po prawej \ rangle}$

jest minimalny wtedy i tylko wtedy, gdy

${\ Displaystyle \ lewo \ {g_ {m} \ po prawej \} _ {0 \ równoważnik m < N}}$

jest bazą Karhunena-Loeve'a uporządkowaną według malejących wartości własnych.

${\ Displaystyle \ lewo \ langle Kg_ {m}, g_ {m} \ prawo \ rangle \ geq \ lewo \ langle Kg_ {m + 1}, g_ {m + 1} \ po prawej \ rangle \ qquad 0 \ leq m <N-1.}$

Przybliżenie nieliniowe w bazach

Przybliżenia liniowe rzutują sygnał na wektory M a priori. Aproksymacja może być bardziej precyzyjna, wybierając wektory ortogonalne M w zależności od właściwości sygnału. Ta sekcja analizuje ogólną wydajność tych nieliniowych przybliżeń. Sygnał jest aproksymowany M wektorami wybranymi adaptacyjnie w bazie ortonormalnej dla${\ Displaystyle f \ w \ operatorname {H} }$${\ Displaystyle \ operatorname {H}}$

${\ Displaystyle \ operatorname {B} = \ lewo \ {g_ {m} \ prawo \} _ {m \ w \ mathbb {N}}}$

Niech będzie rzutem f na wektory M, których indeksy znajdują się w I _M : ${\ Displaystyle f_ {M}}$

${\ Displaystyle f_ {M} = \ suma _ {m \ w I_ {M}} \ lewo \ langle f, g_ {m} \ prawo \ rangle g_ {m}}$

Błąd aproksymacji to suma pozostałych współczynników

${\ Displaystyle \ varepsilon [M] = \ lewo \ {\ lewo \ | f-f_ {M} \ prawo \ | ^ {2} \ prawo \} = \ suma _ {m \ notin I_ {M}} ^ { N-1}\left\{\left|\left\langle f,g_{m}\right\rangle \right|^{2}\right\}}$

Aby zminimalizować ten błąd, indeksy w I _M muszą odpowiadać wektorom M o największej amplitudzie iloczynu skalarnego

${\ Displaystyle \ lewo | \ lewo \ langle f, g_ {m} \ prawo \ rangle \ prawo |.}$

Są to wektory, które najlepiej korelują f. Można je zatem interpretować jako główne cechy f. Wynikający z tego błąd jest z konieczności mniejszy niż błąd aproksymacji liniowej, która wybiera wektory aproksymacji M niezależnie od f. Posortujmy

${\ Displaystyle \ lewo \ {\ lewo | \ lewo \ langle f, g_ {m} \ prawo \ rangle \ prawo | \ prawo \} _ {m \ w \ mathbb {N}}}$

w porządku malejącym

${\ Displaystyle \ lewo | \ lewo \ langle f, g_ {m_ {k}} \ prawo \ rangle \ prawo | \ geq \ lewo | \ lewo \ langle f, g_ {m_ {k + 1}} \ prawo \ rangle \prawo|.}$

Najlepsze nieliniowe przybliżenie to

${\ Displaystyle f_ {M} = \ suma _ {k = 1} ^ {M} \ lewo \ langle f, g_ {m_ {k}} \ prawo \ rangle g_ {m_ {k}}}$

Można go również zapisać jako progowanie produktu wewnętrznego:

${\ Displaystyle f_ {M} = \ suma _ {m = 0} ^ {\ infty} \ theta _ {T} \ lewo (\ lewo \ langle f, g_ {m} \ po prawej \ rangle \ po prawej) g_ {m }}$

z

${\ Displaystyle T = \ lewo | \ lewo \ langle f, g_ {m_ {M}} \ prawo \ rangle \ prawo | \ qquad \ theta _ {T} (x) = {\ zacząć {przypadki} x i | x |\geq T\\0&|x|<T\end{cases}}}$

Błąd nieliniowy to

${\ Displaystyle \ varepsilon [M] = \ lewo \ {\ lewo \ | f-f_ {M} \ prawo \ | ^ {2} \ prawo \} = \ suma _ {k = M + 1} ^ {\ infty }\left\{\left|\left\langle f,g_{m_{k}}\right\rangle \right|^{2}\right\}}$

ten błąd szybko spada do zera wraz ze wzrostem M, jeśli posortowane wartości mają szybki spadek wraz ze wzrostem k. Zanik ten jest określany ilościowo przez obliczenie normy iloczynów wewnętrznych sygnału w B: ${\ Displaystyle \ lewo | \ lewo \ langle f, g_ {m_ {k}} \ prawo \ rangle \ prawo |}$${\ Displaystyle \ operatorname {ja} ^ {\ operatorname {P}}}$

${\ Displaystyle \ | f \ | _ {\ operatorname {B} p} = \ lewo (\ suma _ {m = 0} ^ {\ infty} \ lewo | \ lewo \ langle f, g_ {m} \ prawo \rangle \right|^{p}\right)^{\frac {1}{p}}}$

Poniższe twierdzenie wiąże rozpad ε [ M ] z${\ Displaystyle \ | f \ | _ {\ operatorka {B}, p}}$

Twierdzenie (rozpad błędu). Jeśli przy p < 2 to ${\ Displaystyle \ | f \ | _ {\ operatorka {B}, p} <\ infty}$

${\ Displaystyle \ varepsilon [M] \ leq {\ Frac {\ | f \ | _ {\ operatorname {B}, p} ^ {2}} {\ Frac {2} {p}} -1}} M ^{1-{\frac {2}{p}}}}$

oraz

${\ Displaystyle \ varepsilon [M] = o \ lewo (M ^ {1-{\ Frac {2} {p}}} \ po prawej).}$

I odwrotnie, jeśli wtedy ${\ Displaystyle \ varepsilon [M] = o \ lewo (M ^ {1-{\ Frac {2} {p}}} \ po prawej)}$

${\ Displaystyle \ | f \ | _ {\ operatorname {B}, q} <\ infty}$dla dowolnego q > p .

Nieoptymalność zasad Karhunena-Loève

Aby dodatkowo zilustrować różnice między przybliżeniami liniowymi i nieliniowymi, badamy rozkład prostego niegaussowskiego wektora losowego w bazie Karhunena-Loève'a. Procesy, których realizacje mają losowe tłumaczenie są stacjonarne. Podstawa Karhunena-Loève'a jest wtedy podstawą Fouriera i badamy jej działanie. Aby uprościć analizę, rozważ losowy wektor Y [ n ] o rozmiarze N, który jest losowym przesunięciem modulo N sygnału deterministycznego f [ n ] o zerowej średniej

${\ Displaystyle \ suma _ {n = 0} ^ {N-1} f [n] = 0}$

${\ Displaystyle Y [n] = f [ (np) {\ bmod {N}}]}$

Losowe przesunięcie P jest równomiernie rozłożone na [0,  N  − 1]:

${\ Displaystyle \ Pr (P = p) = {\ Frac {1} {N}} \ qquad 0 \ leq p < N}$

Wyraźnie

${\ Displaystyle \ mathbf {E} \ {Y [n] \} = {\ Frac {1} {N}} \ suma _ {p = 0} ^ {N-1} f [(np) {\ bmod { N}}]=0}$

oraz

${\ Displaystyle R [n, k] = \ mathbf {E} \ {Y [n] Y [k] \} = {\ Frac {1} {N}} \ suma _ {p = 0} ^ {N- 1}f[(np){\bmod {N}}]f[(kp){\bmod {N}}]={\frac {1}{N}}f\Theta {\bar {f}}[ nk],\quad {\bar {f}}[n]=f[-n]}$

Stąd

${\ Displaystyle R [n, k] = R_ {Y} [nk], \ qquad R_ {Y} [k] = {\ Frac {1} {N}} f \ Theta {\ bar {f}} [k ]}$

Ponieważ R _Y jest okresem N, Y jest kołowym stacjonarnym wektorem losowym. Operator kowariancji jest splotem kołowym z R _Y i dlatego jest diagonalizowany w dyskretnej bazie Fouriera Karhunena-Loève'a

${\ Displaystyle \ lewo \ {{\ Frac {1} {\ sqrt {N}}} e ^ {i2 \ pi mn / N} \ prawej \} _ {0 \ leq m < N}.}$

Widmo mocy to transformata Fouriera R _Y :

${\ Displaystyle P_ {Y} [m] = {\ kapelusz {R}} _ {Y} [m] = {\ Frac {1} {N}} \ lewo | {\ kapelusz {f}} [m] \ w prawo|^{2}}$

Przykład: Rozważmy skrajny przypadek, w którym . Twierdzenie przedstawione powyżej gwarantuje, że baza Fouriera Karhunena-Loève'a daje mniejszy oczekiwany błąd aproksymacji niż kanoniczna baza Diracsa . Rzeczywiście, nie znamy a priori odciętej niezerowych współczynników Y , więc nie ma konkretnego Diraca, który byłby lepiej przystosowany do przeprowadzenia aproksymacji. Ale wektory Fouriera pokrywają całe wsparcie Y, a tym samym pochłaniają część energii sygnału. ${\displaystyle f[n]=\delta [n]-\delta [n-1]}$${\ Displaystyle \ lewo \ {g_ {m} [n] = \ delta [nm] \ prawo \} _ {0 \ równoważnik m < N}}$

${\ Displaystyle \ mathbf {E} \ lewo \ {\ lewo | \ lewo \ langle Y [n], {\ Frac {1} {\ sqrt {N}}} e ^ {i2 \ pi MN / N} \ prawej \rangle \right|^{2}\right\}=P_{Y}[m]={\frac {4}{N}}\sin ^{2}\left({\frac {\pi k}{ N}}\prawo)}$

Wybranie współczynników Fouriera o wyższej częstotliwości daje lepsze przybliżenie średniokwadratowe niż wybranie a priori kilku wektorów Diraca do przeprowadzenia przybliżenia. Zupełnie inaczej wygląda sytuacja w przypadku przybliżeń nieliniowych. Jeśli wtedy dyskretna baza Fouriera jest wyjątkowo nieefektywna, ponieważ f, a więc i Y mają energię, która jest prawie równomiernie rozłożona na wszystkie wektory Fouriera. W przeciwieństwie do tego, ponieważ f ma tylko dwa niezerowe współczynniki w bazie Diraca, nieliniowe przybliżenie Y z M ≥ 2 daje błąd zerowy. ${\displaystyle f[n]=\delta [n]-\delta [n-1]}$

Analiza głównych składowych

Ustaliliśmy twierdzenie Karhunena-Loève'a i wyprowadziliśmy z niego kilka własności. Zauważyliśmy również, że przeszkodą w jego zastosowaniu był liczbowy koszt wyznaczenia wartości własnych i funkcji własnych operatora kowariancji za pomocą równania całkowego Fredholma drugiego rodzaju

${\ Displaystyle \ int _ {a} ^ {b} K_ {X} (s, t) e_ {k} (s) \, ds = \ lambda _ {k} e_ {k} (t).}$

Jednak w przypadku zastosowania do procesu dyskretnego i skończonego , problem przybiera znacznie prostszą postać i do przeprowadzenia obliczeń można użyć standardowej algebry. ${\ Displaystyle \ lewo (X_ {n} \ po prawej) _ {n \ w \ {1, \ ldots, N \}}}$

Należy zauważyć, że ciągły proces można również próbkować w N punktach w czasie, aby zredukować problem do skończonej wersji.

Odtąd rozważamy losowy N- wymiarowy wektor . Jak wspomniano powyżej, X może zawierać N próbek sygnału, ale może zawierać o wiele więcej reprezentacji w zależności od dziedziny zastosowania. Na przykład mogą to być odpowiedzi na ankietę lub dane ekonomiczne w analizie ekonometrycznej. ${\ Displaystyle X = \ lewo (X_ {1} ~ X_ {2} ~ \ ldots ~ X_ {N} \ po prawej) ^ {T}}$

Podobnie jak w wersji ciągłej, zakładamy, że X jest wyśrodkowany, w przeciwnym razie możemy pozwolić (gdzie jest średni wektor z X ), który jest wyśrodkowany. ${\ Displaystyle X: = X-\ mu _ {X}}$${\ Displaystyle \ mu _ {X}}$

Dostosujmy procedurę do dyskretnego przypadku.

Macierz kowariancji

Przypomnijmy, że główną implikacją i trudnością transformacji KL jest obliczenie wektorów własnych operatora liniowego związanego z funkcją kowariancji, które dają rozwiązania opisanego powyżej równania całkowego.

Zdefiniuj Σ, macierz kowariancji X , jako macierz N × N , której elementy są podane przez:

${\ Displaystyle \ Sigma _ {ij} = \ mathbf {E} [X_ {i} X_ {j}], \ qquad \ forall ja, j \ w \ {1, \ ldots, N \}}$

Przepisując powyższe równanie całkowe, aby pasowało do przypadku dyskretnego, obserwujemy, że zmienia się ono w:

${\ Displaystyle \ suma _ {j = 1} ^ {N} \ Sigma _ {ij} e_ {j} = \ lambda e_ {i} \ quad \ Leftrightarrow \ quad \ Sigma e = \ lambda e}$

gdzie jest N- wymiarowym wektorem. ${\ Displaystyle e = (e_ {1} ~ e_ {2} ~ \ ldots ~ e_ {N}) ^ {T}}$

W ten sposób równanie całkowe redukuje się do prostego macierzowego problemu wartości własnej, co wyjaśnia, dlaczego PCA ma tak szeroką dziedzinę zastosowań.

Ponieważ Σ jest dodatnio określoną macierzą symetryczną, posiada zbiór ortonormalnych wektorów własnych tworzących bazę , i zapisujemy ten zbiór wartości własnych i odpowiadających im wektorów własnych, wymienionych w malejących wartościach λ _i . Niech również Φ będzie macierzą ortonormalną składającą się z tych wektorów własnych: ${\ Displaystyle \ mathbb {R} ^ {N}}$${\ Displaystyle \ {\ lambda _ {i}, \ varphi _ {i} \} _ {i \ w \ {1, \ ldots, N \}}}$

${\ Displaystyle {\ zacząć {wyrównany} \ Phi &: = \ lewo (\ varphi _ {1} ~ \ varphi _ {2} ~ \ ldots ~ \ varphi _ {N} \ po prawej) ^ {T} \ \ \ Phi ^{T}\Phi &=I\end{wyrównane}}}$

Przekształcenie składowej głównej

Pozostaje do wykonania rzeczywista transformacja KL, nazywana w tym przypadku transformacją głównych składowych . Przypomnijmy, że transformacja została znaleziona poprzez rozszerzenie procesu w odniesieniu do bazy rozpiętej przez wektory własne funkcji kowariancji. W tym przypadku mamy więc:

${\ Displaystyle X = \ suma _ {i = 1} ^ {N} \ langle \ varphi _ {i}, X \ rangle \ varphi _ {i} = \ suma _ {i = 1} ^ {N} \ varphi _{i}^{T}X\varphi _{i}}$

W bardziej zwartej formie główna transformata składowa X jest zdefiniowana przez:

${\ Displaystyle {\ zacząć {przypadki} Y = \ Phi ^ {T} X \ \ X = \ Phi Y \ koniec {przypadki}}}$

I -ty element Y jest , rzut X o a odwrotna transformata X = Φ Y otrzymuje się rozszerzenie X w przestrzeni objętej przez : ${\ Displaystyle Y_ {i} = \ varphi _ {i} ^ {T} X}$${\ Displaystyle \ varphi _ {i}}$${\ Displaystyle \ varphi _ {i}}$

${\ Displaystyle X = \ suma _ {i = 1} ^ {N} Y_ {i} \ varphi _ {i} = \ suma _ {i = 1} ^ {N} \ langle \ varphi _ {i} X \rangle \varphi _{i}}$

Podobnie jak w przypadku ciągłym, możemy zmniejszyć wymiarowość problemu, obcinając sumę w taki sposób, że ${\ Displaystyle K \ w \ {1, \ ldots, N \}}$

${\ Displaystyle {\ Frac {\ suma _ {i = 1} ^ {K} \ lambda _ {i}} {\ suma _ {i = 1} ^ {N} \ lambda _ {i}}} \ geq \ alfa}$

gdzie α jest wyjaśnionym progiem wariancji, który chcemy ustawić.

Możemy również zredukować wymiarowość poprzez zastosowanie wielopoziomowej dominującej estymacji wektora własnego (MDEE).

Przykłady

Proces Wienera

Istnieje wiele równoważnych charakteryzacji procesu Wienera, który jest matematyczną formalizacją ruchów Browna . Tutaj uważamy go za wyśrodkowany standardowy proces Gaussa W _t z funkcją kowariancji

${\ Displaystyle K_ {W} (t, s) = \ operatorname {cov} (W_ {t}, W_ {s}) = \ min (s, t).}$

Ograniczamy dziedzinę czasu do [ a , b ]=[0,1] bez utraty ogólności.

Wektory własne jądra kowariancji są łatwe do wyznaczenia. To są

${\ Displaystyle e_ {k} (t) = {\ sqrt {2}} \ sin \ lewo (\ lewo (k-{\ tfrac {1} {2}} \ prawej) \ pi t \ prawej)}$

a odpowiadające im wartości własne to

${\ Displaystyle \ lambda _ {k} = {\ Frac {1} {(k-{\ Frac {1} {2}}) ^ {2} \ pi ^ {2}}}.}$

Daje to następującą reprezentację procesu Wienera:

Twierdzenie . Istnieje ciąg { Z _i } _i niezależnych gaussowskich zmiennych losowych o średniej zerowej i wariancji 1 taki, że

${\ Displaystyle W_ {t} = {\ sqrt {2}} \ suma _ {k = 1} ^ {\ infty} Z_ {k} {\ Frac {\ sin \ lewo (\ lewo (k-{\ Frac { 1}{2}}\right)\pi t\right)}{\left(k-{\frac {1}{2}}\right)\pi }}.}$

Należy zauważyć, że ta reprezentacja jest ważna tylko dla większych interwałów przyrosty nie są niezależne. Jak stwierdzono w twierdzeniu, zbieżność jest w normie L ² i jednolita w  t . ${\displaystyle t\w [0,1].}$

Most Browna

Podobnie most Browna, który jest procesem stochastycznym z funkcją kowariancji ${\ Displaystyle B_ {t} = W_ {t}-tW_ {1}}$

${\ Displaystyle K_ {B} (t s) = \ min (t s)-ts}$

można przedstawić jako szereg

${\ Displaystyle B_ {t} = \ suma _ {k = 1} ^ {\ infty} Z_ {k} {\ Frac {{\ sqrt {2}} \ sin (k \ pi t)} {k \ pi} }}$

Aplikacje

Systemy optyki adaptacyjnej czasami wykorzystują funkcje K–L do rekonstrukcji informacji o fazie czoła fali (Dai 1996, JOSA A). Ekspansja Karhunena-Loève'a jest ściśle związana z dekompozycją według wartości osobliwych . Ten ostatni ma niezliczone zastosowania w przetwarzaniu obrazu, radarze, sejsmologii i tym podobnych. Jeśli mamy niezależne obserwacje wektorowe z procesu stochastycznego o wartościach wektorowych, to lewe wektory osobliwe są estymatami największej prawdopodobieństwa rozwinięcia zespołu KL.

Zastosowania w estymacji i detekcji sygnału

Wykrywanie znanego ciągłego sygnału S ( t )

W komunikacji zwykle musimy zdecydować, czy sygnał z zaszumionego kanału zawiera cenne informacje. Poniższe testowanie hipotez służy do wykrywania ciągłego sygnału s ( t ) z wyjścia kanału X ( t ), N ( t ) jest szumem kanału, który zwykle przyjmuje się zerową średnią procesu Gaussa z funkcją korelacji${\ Displaystyle R_ {N} (t, s) = E [N (t) N (s)]}$

${\ Displaystyle H: X (t) = N (t)}$

${\ Displaystyle K: X (t) = N (t) + s (t), \ quad t \ w (0, T)}$

Wykrywanie sygnału w białym szumie

Gdy szum kanału jest biały, jego funkcją korelacji jest

${\ Displaystyle R_ {N} (t) = {\ tfrac {1} {2}} N_ {0} \ delta (t)}$

i ma stałą gęstość widma mocy. W fizycznie praktycznym kanale moc szumów jest skończona, więc:

${\ Displaystyle S_ {N} (f) = {\ zacząć {przypadki} {\ Frac {N_ {0}} {2}} i | f | < w \ \ 0 i | f | > w \ koniec {przypadki}} }$

Wtedy funkcja korelacji szumu jest funkcją sinc z zerami w Ponieważ są nieskorelowane i gaussowskie, są niezależne. W ten sposób możemy pobrać próbki z X ( t ) z odstępem czasowym ${\ Displaystyle {\ Frac {n} {2 \ omega}}, n \ w \ mathbf {Z}.}$

${\ Displaystyle \ Delta t = {\ Frac {n} {2 \ omega}} {\ tekst {w ciągu }} (0, ''T'').}$

Niech . Mamy w sumie obserwacje iid, aby opracować test ilorazu wiarygodności. Zdefiniuj sygnał , problem staje się, ${\ Displaystyle X_ {i} = X (i \ \ Delta t)}$${\ Displaystyle n = {\ Frac {T} {\ Delta T}} = T (2 \ omega) = 2 \ omega T}$${\ Displaystyle \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ Displaystyle S_ {i} = S (i \ \ Delta t)}$

${\ Displaystyle H: X_ {i} = N_ {i}}$

${\ Displaystyle K: X_ {i} = N_ {i} + S_ {i}, i = 1,2, \ ldots, n.}$

Logarytmiczny współczynnik prawdopodobieństwa

${\ Displaystyle {\ mathcal {L}} ({\ podkreślenie {x}}) = \ log {\ Frac {\ suma _ {i = 1} ^ {n} (2S_ {i} x_ {i}-S_ { i}^{2})}{2\sigma ^{2}}}\Leftrightarrow \Delta t\sum _{i=1}^{n}S_{i}x_{i}=\sum _{i= 1}^{n}S(i\,\Delta t)x(i\,\Delta t)\,\Delta t\gtrless \lambda _{\cdot }2}$

Jako t → 0 , niech:

${\ Displaystyle G = \ int _ {0} ^ {T} S (t) x (t) \ dt.}$

Wtedy G jest statystyką testu, a optymalny detektor Neymana-Pearsona to

${\ Displaystyle G ({\ podkreślenie {x}})> G_ {0} \ Rightarrow K <G_ {0} \ Rightarrow H.}$

Ponieważ G jest Gaussa, możemy go scharakteryzować, znajdując jego średnią i wariancje. Wtedy dostajemy

${\ Displaystyle H: G \ SIM N \ po lewej (0, {\ tfrac {1} {2}} N_ {0} E \ po prawej)}$

${\ Displaystyle K: G \ SIM N \ po lewej (E {\ Tfrac {1} {2}} N_ {0} E \ po prawej)}$

gdzie

${\ Displaystyle \ mathbf {E} = \ int _ {0} ^ {T} S ^ {2} (t) \ dt}$

to energia sygnału.

Błąd fałszywego alarmu

${\ Displaystyle \ alfa = \ int _ {G_ {0}} ^ {\ infty} N \ lewo (0, {\ tfrac {1} {2}} N_ {0} E \ po prawej) \ DG \ Strzałka w prawo G_ {0}={\sqrt {{\tfrac {1}{2}}N_{0}E}}\Phi ^{-1}(1-\alpha )}$

A prawdopodobieństwo wykrycia:

${\ Displaystyle \ beta = \ int _ {G_ {0}} ^ {\ infty} N \ lewo (e {\ tfrac {1} {2}} N_ {0} E \ po prawej) \ dG = 1 - \Phi \left({\frac {G_{0}-E}{\sqrt {{\tfrac {1}{2}}N_{0}E}}}\right)=\Phi \left({\sqrt {\frac {2}}{N_{0}}}}-\Phi ^{-1}(1-\alpha )\right),}$

gdzie Φ jest cdf zmiennej standardowej lub Gaussa.

Wykrywanie sygnału w kolorowym szumie

Gdy N(t) jest kolorowym (skorelowanym w czasie) szumem gaussowskim z zerową średnią i funkcją kowariancji, nie możemy próbkować niezależnych dyskretnych obserwacji przez równomierne rozłożenie czasu. Zamiast tego możemy użyć rozwinięcia K–L, aby usunąć korelację procesu szumu i uzyskać niezależne „próbki” obserwacji Gaussa. Rozszerzenie K–L N ( t ): ${\ Displaystyle R_ {N} (t s) = E [N (t) N (s)]}$

${\ Displaystyle N (t) = \ suma _ {i = 1} ^ {\ infty} N_ {i} \ Phi _ {i} (t), \ quad 0 < t < T}$

gdzie i bazy ortonormalne są generowane przez jądro , czyli rozwiązanie do ${\ Displaystyle N_ {i} = \ int N (t) \ Phi _ {i} (t) \ dt}$${\ Displaystyle \ {\ Phi _ {i} {t} \}}$${\ Displaystyle R_ {N} (t, s)}$

${\ Displaystyle \ int _ {0} ^ {T} R_ {N} (t, s) \ Phi _ {i} (s) \, ds = \ lambda _ {i} \ Phi _ {i} (t) ,\quad \operatorname {var} [N_{i}]=\lambda _{i}.}$

Wykonaj ekspansję:

${\ Displaystyle S (t) = \ suma _ {i = 1} ^ {\ infty} S_ {i} \ Phi _ {i} (t)}$

gdzie , to ${\ Displaystyle S_ {i} = \ int _ {0} ^ {T} S (t) \ Phi _ {i} (t) \ dt}$

${\ Displaystyle X_ {i} = \ int _ {0} ^ {T} X (t) \ Phi _ {i} (t) \ dt = N_ {i}}$

pod H i pod K. Niech , mamy ${\ Displaystyle N_ {i} + S_ {i}}$${\ Displaystyle {\ overline {X}} = \ {X_ {1}, X_ {2}, \ kropki \}}$

${\ Displaystyle N_ {i}}$ są niezależnymi rv Gaussa z wariancją ${\ Displaystyle \ lambda _ {i}}$

pod H: są niezależnymi r.v. Gaussa. ${\ Displaystyle \ {X_ {i} \}}$

${\ Displaystyle f_ {H} [x (t) | 0 < t < T] = f_ {H} ({\ podkreślenie {x}}) = \ prod _ {i = 1} ^ {\ infty} {\ Frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {x_{i}^{2}}{2\lambda _{i}}}\right )}$

pod K: są niezależnymi gaussowskimi r.v. ${\ Displaystyle \ {X_ {i}-S_ {i} \}}$

${\ Displaystyle f_ {K} [x (t) \ mid 0 < t < T] = f_ {K} ({\ podkreślenie {x}}) = \ prod _ {i = 1} ^ {\ infty} {\ frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {(x_{i}-S_{i})^{2}}{2\lambda _{i}}}\prawo)}$

Stąd log-LR jest dany przez

${\ Displaystyle {\ mathcal {L}} ({\ podkreślenie {x}}) = \ suma _ {i = 1} ^ {\ infty} {\ Frac {2 S_ {i} x_ {i} - S_ {i} ^{2}}{2\lambda _{i}}}}$

a optymalnym detektorem jest

${\ Displaystyle G = \ suma _ {i = 1} ^ {\ infty} S_ {i} x_ {i} \ lambda _ {i}> G_ {0} \ Rightarrow K, <G_ {0} \ Rightarrow H. }$

Definiować

${\ Displaystyle k (t) = \ suma _ {i = 1} ^ {\ infty} \ lambda _ {i} S_ {i} \ Phi _ {i} (t), 0 < t < T}$

następnie ${\ Displaystyle G = \ int _ {0} ^ {T} k (t) x (t) \ dt.}$

Jak znaleźć k ( t )

Odkąd

${\ Displaystyle \ int _ {0} ^ {T} R_ {N} (t, s) k (s) \, ds = \ suma _ {i = 1} ^ {\ infty} \ lambda _ {i} S_ {i}\int _{0}^{T}R_{N}(t,s)\Phi _{i}(s)\,ds=\sum _{i=1}^{\infty }S_{ i}\Phi _{i}(t)=S(t),}$

k(t) jest rozwiązaniem

${\ Displaystyle \ int _ {0} ^ {T} R_ {N} (t, s) k (s) \ ds = S (t).}$

Jeśli N ( t ) jest stacjonarny o szerokim znaczeniu,

${\ Displaystyle \ int _ {0} ^ {T} R_ {N} (ts) k (s) \ ds = S (t)}$

który jest znany jako równanie Wienera-Hopfa . Równanie można rozwiązać, przyjmując transformatę Fouriera, ale nie jest to praktycznie możliwe do zrealizowania, ponieważ nieskończone widmo wymaga faktoryzacji przestrzennej. Szczególnym przypadkiem, który łatwo obliczyć k ( t ) jest biały szum Gaussa.

${\ Displaystyle \ int _ {0} ^ {T} {\ Frac {N_ {0}} {2}} \ delta (ts) k (s) \ ds = S (t) \ Strzałka w prawo k (t) = CS(t),\quad 0<t<T.}$

Odpowiednia odpowiedź impulsowa to h ( t ) = k ( T  −  t ) = CS ( T  −  t ). Niech C  = 1, to jest właśnie wynik, do którego doszliśmy w poprzednim rozdziale dotyczącym wykrywania sygnału w białym szumie.

Próg testowy dla detektora Neymana-Pearsona

Ponieważ X(t) jest procesem Gaussa,

${\ Displaystyle G = \ int _ {0} ^ {T} k (t) x (t) \ dt}$

jest zmienną losową Gaussa, którą można scharakteryzować za pomocą średniej i wariancji.

${\ Displaystyle {\ zacząć {wyrównany} \ mathbf {E} [G \ średni H] i = \ int _ {0} ^ {T} k (t) \ mathbf {E} [x (t) \ średni H] \,dt=0\\\mathbf {E} [G\mid K]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid K]\, dt=\int _{0}^{T}k(t)S(t)\,dt\equiv \rho \\\mathbf {E} [G^{2}\mid H]&=\int _{ 0}^{T}\int _{0}^{T}k(t)k(s)R_{N}(t,s)\,dt\,ds=\int _{0}^{T} k(t)\left(\int _{0}^{T}k(s)R_{N}(t,s)\,ds\right)=\int _{0}^{T}k(t )S(t)\,dt=\rho \\\operatorname {var} [G\mid H]&=\mathbf {E} [G^{2}\mid H]-(\mathbf {E} [G \mid H])^{2}=\rho \\\mathbf {E} [G^{2}\mid K]&=\int _{0}^{T}\int _{0}^{T }k(t)k(s)\mathbf {E} [x(t)x(s)]\,dt\,ds=\int _{0}^{T}\int _{0}^{T }k(t)k(s)(R_{N}(t,s)+S(t)S(s))\,dt\,ds=\rho +\rho ^{2}\\\nazwa operatora { var} [G\mid K]&=\mathbf {E} [G^{2}|K]-(\mathbf {E} [G|K])^{2}=\rho +\rho ^{2 }-\rho ^{2}=\rho \end{wyrównany}}}$

Stąd otrzymujemy rozkłady H i K :

${\displaystyle H:G\sim N(0,\rho)}$

${\displaystyle K:G\sim N(\rho,\rho)}$

Błąd fałszywego alarmu to

${\ Displaystyle \ alfa = \ int _ {G_ {0}} ^ {\ infty} N (0, \ rho) \ dG = 1 - \ Phi \ lewo ({\ Frac {G_ {0}} {\ sqrt {\rho }}}\prawo).}$

Zatem próg testowy dla optymalnego detektora Neymana-Pearsona wynosi

${\ Displaystyle G_ {0} = {\ sqrt {\ rho}} \ Phi ^ {-1} (1-\ alfa).}$

Jego moc wykrywania to:

${\ Displaystyle \ beta = \ int _ {G_ {0}} ^ {\ infty} N (\ rho \ rho) \ dG = \ Phi \ lewo ({\ sqrt {\ rho}} - \ Phi ^ { -1}(1-\alfa )\prawo)}$

Gdy szum jest białym procesem Gaussa, moc sygnału wynosi

${\ Displaystyle \ rho = \ int _ {0} ^ {T} k (t) S (t) \ dt = \ int _ {0} ^ {T} S (t) ^ {2} \ dt = MI.}$

Wybielanie wstępne

W przypadku niektórych rodzajów szumu kolorowego typową praktyką jest dodanie filtra wstępnego wybielającego przed filtrem dopasowanym, aby przekształcić szum kolorowy w szum biały. Na przykład, N(t) jest szeroko rozumianym stacjonarnym szumem kolorowym z funkcją korelacji

${\ Displaystyle R_ {N} (\ tau) = {\ Frac {BN_ {0}} {4}} e ^ {-B | \ tau |}}$

${\ Displaystyle S_ {N} (f) = {\ Frac {N_ {0}} {2 (1+ ({\ Frac {W} {B}}) ^ {2})}}}$

Funkcja przenoszenia filtra wstępnego wybielania jest

${\ Displaystyle H (f) = 1 + j {\ Frac {w} {B}}.}$

Wykrywanie losowego sygnału gaussowskiego w addytywnym białym szumie gaussowskim (AWGN)

Gdy sygnał, który chcemy wykryć z zaszumionego kanału, jest również losowy, na przykład biały proces Gaussa X ( t ), nadal możemy zaimplementować rozwinięcie K–L, aby uzyskać niezależną sekwencję obserwacji. W takim przypadku problem z wykryciem jest opisany w następujący sposób:

${\ Displaystyle H_ {0}: Y (t) = N (t)}$

${\ Displaystyle H_ {1}: Y (t) = N (t) + X (t), \ quad 0 < t < T.}$

X ( t ) jest procesem losowym z funkcją korelacji${\ Displaystyle R_ {X} (t, s) = E \ {X (t) X (s) \}}$

Rozszerzenie K–L X ( t ) to

${\ Displaystyle X (t) = \ suma _ {i = 1} ^ {\ infty} X_ {i} \ Phi _ {i} (t)}$

gdzie

${\ Displaystyle X_ {i} = \ int _ {0} ^ {T} X (t) \ Phi _ {i} (t) \ dt}$

i są rozwiązaniami dla ${\ Displaystyle \ Phi _ {i} (t)}$

${\ Displaystyle \ int _ {0} ^ {T} R_ {X} (t, s) \ Phi _ {i} (s) ds = \ lambda _ {i} \ Phi _ {i} (t).}$

Tak „s są niezależne sekwencja RV o zerowej średniej i wariancji . Rozszerzając Y ( t ) i N ( t ) przez , otrzymujemy ${\ Displaystyle X_ {i}}$${\ Displaystyle \ lambda _ {i}}$${\ Displaystyle \ Phi _ {i} (t)}$

${\ Displaystyle Y_ {i} = \ int _ {0} ^ {T} Y (t) \ Phi _ {i} (t) \ dt = \ int _ {0} ^ {T} [N (t) +X(t)]\Phi _{i}(t)=N_{i}+X_{i},}$

gdzie

${\ Displaystyle N_ {i} = \ int _ {0} ^ {T} N (t) \ Phi _ {i} (t) \ dt.}$

Ponieważ N ( t ) jest białym szumem Gaussa, to sekwencja iid rv o zerowej średniej i wariancji , to problem jest uproszczony w następujący sposób: ${\ Displaystyle N_ {i}}$${\displaystyle {\tfrac {1}{2}}N_{0}}$

${\ Displaystyle H_ {0}: Y_ {i} = N_ {i}}$

${\ Displaystyle H_ {1}: Y_ {i} = N_ {i} + X_ {i}}$

Optymalny test Neymana-Pearsona:

${\ Displaystyle \ Lambda = {\ Frac {f_ {Y} \ mid H_ {1}} {f_ {Y} \ mid H_ {0}}} = Ce ^ {- \ suma _ {i = 1} ^ {\ infty }{\frac {y_{i}^{2}}{2}}{\frac {\lambda _{i}}{{\tfrac {1}{2}}N_{0}({\tfrac { 1}{2}}N_{0}+\lambda _{i})}}},}$

więc logarytmiczny stosunek prawdopodobieństwa wynosi

${\ Displaystyle {\ mathcal {L}} = \ ln (\ Lambda) = K- \ suma _ {i = 1} ^ {\ infty} {\ tfrac {1} {2}} Y_ {i} ^ {2 }{\frac {\lambda _{i}}{{\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\ Prawidłowy)}}.}$

Odkąd

${\ Displaystyle {\ widehat {X}} _ {i} = {\ Frac {\ lambda _ {i}} {{\ Frac {N_ {0}} {2}} \ lewo ({\ Frac {N_ {0 }}{2}}+\lambda _{i}\right)}}}$

jest tylko minimalną średnią kwadratową oszacowaniem danego 's, ${\ Displaystyle X_ {i}}$${\ Displaystyle Y_ {i}}$

${\ Displaystyle {\ mathcal {L}} = K + {\ Frac {1} {N_ {0}}} \ suma _ {i = 1} ^ {\ infty} Y_ {i} {\ widehat {X}} _ {i}.}$

Rozszerzenie K–L ma następującą właściwość: If

${\ Displaystyle f (t) = \ suma f_ {i} \ Phi _ {i} (t), g (t) = \ suma g_ {i} \ Phi _ {i} (t)}$

gdzie

${\ Displaystyle f_ {i} = \ int _ {0} ^ {T} f (t) \ Phi _ {i} (t) \ dt \ quad g_ {i} = \ int _ {0} ^ { T}g(t)\Phi _{i}(t)\,dt.}$

następnie

${\ Displaystyle \ suma _ {i = 1} ^ {\ infty} f_ {i} g_ {i} = \ int _ {0} ^ {T} g (t) f (t) \ dt.}$

Więc pozwól

${\ Displaystyle {\ widehat {X}} (t \ mid T) = \ suma _ {i = 1} ^ {\ infty} {\ widehat {X}} _ {i} \ Phi _ {i} (t) ,\quad {\mathcal {L}}=K+{\frac {1}{N_{0}}}\int _{0}^{T}Y(t){\widehat {X}}(t\mid T)\,dt.}$

Filtr nieprzyczynowy Q ( t , s ) może być użyty do uzyskania oszacowania przez

${\ Displaystyle {\ widehat {X}} (t \ średni T) = \ int _ {0} ^ {T} Q (t, s) Y (s) \ ds.}$

Przez zasadę ortogonalności , P ( t , s ) spełnia

${\ Displaystyle \ int _ {0} ^ {T} Q (t, s) R_ {X} (s, t) \, ds + {\ tfrac {N_ {0}} {2}} Q (t \ lambda )=R_{X}(t,\lambda ),0<\lambda <T,0<t<T.}$

Jednak ze względów praktycznych konieczne jest dalsze wyprowadzenie filtra przyczynowego h ( t , s ), gdzie h ( t , s ) = 0 dla s > t , aby uzyskać oszacowanie . Konkretnie, ${\displaystyle {\widehat {X}}(t\mid t)}$

${\ Displaystyle Q (t s) = h (t s) + h (s, t) - \ int _ {0} ^ {T} h (\ lambda, t) h (s, \ lambda) \, d\lambda }$

Zobacz też

• Analiza głównych składowych
• chaos wielomianowy
• Odtwarzanie przestrzeni Hilberta w jądrze
• Twierdzenie Mercera

Uwagi

Bibliografia

• Stark, Henry; Woods, John W. (1986). Prawdopodobieństwo, procesy losowe i teoria estymacji dla inżynierów . Prentice-Hall, Inc. ISBN 978-0-13-711706-2. OL  21138080M .
• Ghanem, Roger; Spanos, Pol (1991). Stochastyczne elementy skończone: podejście spektralne . Springer-Verlag. Numer ISBN 978-0-387-97456-9. OL  1865197M .
• Guikhman, I.; Skorokhod, A. (1977). Wprowadzenie a la Théorie des Processus Aléatoires . Wydania MIR.
• Szymona B. (1979). Integracja funkcjonalna i fizyka kwantowa . Prasa akademicka.
• Karhunen, Kari (1947). „Über lineare Methoden in der Wahrscheinlichkeitsrechnung”. Anny. Acad. Nauka. Fennice. Ser. AI Matematyka-Fizyka . 37 : 1-79.
• Loève, M. (1978). Teoria prawdopodobieństwa. Tom. II, wyd . Teksty magisterskie z matematyki. 46 . Springer-Verlag. Numer ISBN 978-0-387-90262-3.
• Dai, G. (1996). „Modalna rekonstrukcja czoła fali z wielomianami Zernike i funkcjami Karhunena-Loeve”. JOSA A . 13 (6): 1218. Kod Bib : 1996JOSAA..13.1218D . doi : 10.1364/JOSAA.13.001218 .
• Wu B., Zhu J., Najm F. (2005) „Podejście nieparametryczne do szacowania zakresu dynamicznego systemów nieliniowych”. W materiałach konferencyjnych Design Automation Conference(841-844) 2005
• Wu B., Zhu J., Najm F. (2006) "Oszacowanie zakresu dynamicznego". Transakcje IEEE dotyczące projektowania wspomaganego komputerowo układów i systemów scalonych, tom. 25 Wydanie:9 (1618-1636) 2006
• Jorgensen, Palle ET; Pieśń, Myung-Sin (2007). „Kodowanie entropii, Hilbert Space i Karhunen-Loeve Transforms”. Czasopismo Fizyki Matematycznej . 48 (10): 103503. arXiv : math-ph/0701056 . Kod Bibcode : 2007JMP....48j3503J . doi : 10.1063/1.2793569 . S2CID  17039075 .

Zewnętrzne linki

• Mathematica KarhunenLoeveDekompozycja funkcji.
• E161: Uwagi do przetwarzania i analizy obrazów komputerowych autorstwa Pr. Ruye Wang w Harvey Mudd College [1]