Obrazowanie w super rozdzielczości - Super-resolution imaging
Obrazowania bardzo rozdzielczości ( SR ) jest klasą technikami wzmocnienia (zwiększając) rozdzielczość się z obrazu systemu. W SR optycznego granica dyfrakcji układów zostanie przekroczony, zaś w geometrycznym SR rozdzielczość cyfrowego czujników obrazowania jest zwiększona.
W niektórych zastosowaniach obrazowania radarowego i sonarowego (np. obrazowanie rezonansem magnetycznym (MRI), tomografia komputerowa o wysokiej rozdzielczości ), metody oparte na dekompozycji podprzestrzennej (np. MUSIC ) i algorytmy oparte na skompresowanym czujniku (np. SAMV ) są wykorzystywane do uzyskania SR w porównaniu ze standardowymi. algorytm periodogramu .
Techniki obrazowania superrozdzielczości są stosowane w ogólnym przetwarzaniu obrazu oraz w mikroskopii superrozdzielczej .
Podstawowe koncepcje
Ponieważ niektóre idee dotyczące superrozdzielczości wiążą się z fundamentalnymi kwestiami, na początku należy zbadać odpowiednie zasady fizyczne i informacyjno-teoretyczne:
-
Granica dyfrakcji : Szczegół obiektu fizycznego, który instrument optyczny może odtworzyć na obrazie, ma granice określone przez prawa fizyki, sformułowane przez równania dyfrakcji w falowej teorii światła lub równoważnie zasadę nieoznaczoności dla fotonów w mechanice kwantowej . Transfer informacji nigdy nie może zostać zwiększony poza tę granicę, ale pakiety poza tymi granicami mogą być sprytnie zamienione (lub zmultipleksowane) z niektórymi wewnątrz niego. Nie tyle „łamie się”, ile „omija” granicę dyfrakcji. Nowe procedury sondujące zaburzenia elektromagnetyczne na poziomie molekularnym (w tzw. polu bliskim) pozostają w pełni zgodne z równaniami Maxwella .
- Domena częstotliwości przestrzennej: Zwięzły wyraz granicy dyfrakcji jest podany w domenie częstotliwości przestrzennej. W optyce Fouriera rozsyły światła są wyrażane jako superpozycje serii siatek świetlnych o różnych szerokościach prążków, technicznie przestrzennych częstotliwościach . Ogólnie uważa się, że teoria dyfrakcji określa górną granicę, graniczną częstotliwość przestrzenną odcięcia, poza którą elementy wzoru nie są przenoszone do obrazu optycznego, tj. nie są rozdzielone. Ale w rzeczywistości to, co ustala teoria dyfrakcji, to szerokość pasma przepustowego, a nie ustalona górna granica. Żadne prawa fizyki nie są łamane, gdy pasmo częstotliwości przestrzennej poza odcinaną częstotliwością przestrzenną jest zamieniane na pasmo wewnątrz niego: od dawna jest to implementowane w mikroskopii ciemnego pola . Również przy nakładaniu kilku pasm, ich rozplątywaniu w otrzymanym obrazie nie łamie się informacyjno-teoretycznych zasad, które wymagają założenia niezmienności obiektu podczas wielokrotnych naświetleń, tj. zastąpienia jednego rodzaju niepewności innym.
- Informacja : Kiedy termin superrozdzielczość jest używany w technikach wnioskowania o szczegółach obiektu ze statystycznej obróbki obrazu w standardowych granicach rozdzielczości, na przykład uśrednianie wielokrotnych ekspozycji, wiąże się to z wymianą jednego rodzaju informacji (wyodrębnianie sygnału z szumu) dla inny (założenie, że cel pozostał niezmienny).
- Rozdzielczość i lokalizacja: Prawdziwa rozdzielczość obejmuje rozróżnienie, czy obiekt, np. gwiazda lub linia widmowa, jest pojedynczy czy podwójny, co zwykle wymaga rozdzielenia pików na obrazie. Gdy wiadomo, że cel jest pojedynczy, jego położenie można określić z większą precyzją niż szerokość obrazu, znajdując środek ciężkości (środek ciężkości) jego rozkładu światła na obrazie. W tym procesie zaproponowano słowo ultrarozdzielczość , ale się nie przyjęło, a bardzo precyzyjna procedura lokalizacji jest zwykle określana jako superrozdzielczość.
Osiągnięcia techniczne w zakresie poprawy wydajności urządzeń do obrazowania i wykrywania, obecnie klasyfikowanych jako superrozdzielcze, wykorzystują w pełni, ale zawsze pozostają w granicach narzuconych przez prawa fizyki i teorii informacji.
Techniki
Optyczna lub dyfrakcyjna super rozdzielczość
Zastępowanie pasm częstotliwości przestrzennych: Chociaż szerokość pasma dozwolona przez dyfrakcję jest stała, można ją umieścić w dowolnym miejscu widma częstotliwości przestrzennej. Przykładem jest oświetlenie ciemnego pola w mikroskopii. Zobacz także synteza apertury .
Multipleksowanie pasm częstotliwości przestrzennych
Obraz jest tworzony przy użyciu normalnego pasma przepustowego urządzenia optycznego. Następnie na tarczę nakładana jest pewna znana struktura świetlna, na przykład zestaw prążków świetlnych, która również znajduje się w paśmie przepuszczania. Obraz zawiera teraz komponenty wynikające z połączenia celu i nałożonej struktury światła, np. prążki mory , oraz zawiera informacje o detalu celu, których nie ma zwykłe, nieustrukturyzowane oświetlenie. Jednak „superrozdzielone” komponenty wymagają rozplątywania, aby zostały ujawnione. Na przykład patrz oświetlenie strukturalne (rysunek po lewej).
Użycie wielu parametrów w ramach tradycyjnej granicy dyfrakcji
Jeśli cel nie ma specjalnych właściwości polaryzacji lub długości fali, dwa stany polaryzacji lub nienakładające się regiony długości fali mogą być użyte do kodowania szczegółów celu, jeden w paśmie częstotliwości przestrzennej wewnątrz granicy odcięcia, a drugi poza nią. Oba wykorzystywałyby normalną transmisję w paśmie przepustowym, ale są następnie oddzielnie dekodowane w celu odtworzenia struktury docelowej z rozszerzoną rozdzielczością.
Badanie zaburzeń elektromagnetycznych bliskiego pola
Zwykła dyskusja na temat superrozdzielczości dotyczyła konwencjonalnego obrazowania obiektu za pomocą systemu optycznego. Ale nowoczesna technologia umożliwia badanie zaburzeń elektromagnetycznych w odległościach molekularnych od źródła, które ma lepsze właściwości rozdzielczości, patrz także fale zanikające i opracowanie nowego supersoczewki .
Super rozdzielczość geometryczna lub przetwarzania obrazu
Redukcja szumów obrazu z wielokrotną ekspozycją
Gdy obraz jest pogorszony przez szum, średnia z wielu ekspozycji może zawierać więcej szczegółów, nawet w granicach dyfrakcji. Zobacz przykład po prawej.
Rozmycie pojedynczej klatki
Znane defekty w danej sytuacji obrazowania, takie jak rozogniskowanie lub aberracje , można czasem złagodzić w całości lub w części przez odpowiednie filtrowanie częstotliwości przestrzennej nawet pojedynczego obrazu. Wszystkie takie procedury pozostają w zakresie nakazu dyfrakcji i nie rozszerzają go.
Lokalizacja obrazu subpikselowego
Położenie pojedynczego źródła można określić, obliczając „środek ciężkości” ( centroid ) rozkładu światła rozciągającego się na kilka sąsiednich pikseli (patrz rysunek po lewej). Zakładając, że jest wystarczająca ilość światła, można to osiągnąć z dowolną precyzją, znacznie lepszą niż szerokość piksela urządzenia detekcyjnego i granica rozdzielczości dla decyzji, czy źródło jest pojedyncze czy podwójne. Ta technika, która wymaga założenia, że całe światło pochodzi z jednego źródła, jest podstawą tak zwanej mikroskopii superrozdzielczej , np. mikroskopii stochastycznej optycznej rekonstrukcji (STORM), w której sondy fluorescencyjne dołączone do cząsteczek dają odległość w nanoskali Informacja. Jest to również mechanizm leżący u podstaw hiperostrości wzroku .
Indukcja bayesowska poza tradycyjną granicą dyfrakcji
Niektóre cechy obiektu, chociaż wykraczające poza granicę dyfrakcji, mogą być znane jako powiązane z innymi cechami obiektu, które mieszczą się w granicach, a zatem są zawarte w obrazie. Następnie można wyciągnąć wnioski metodami statystycznymi z dostępnych danych obrazowych o obecności pełnego obiektu. Klasycznym przykładem jest propozycja Toraldo di Francia, by oceniać, czy obraz przedstawia pojedynczą, czy podwójną gwiazdę, poprzez określenie, czy jego szerokość przekracza rozpiętość pojedynczej gwiazdy. Można to osiągnąć przy separacjach znacznie poniżej klasycznych granic rozdzielczości i wymaga wcześniejszego ograniczenia do wyboru „pojedyncza czy podwójna?”
Podejście to może przyjąć formę ekstrapolacji obrazu w dziedzinie częstotliwości, zakładając, że obiekt jest funkcją analityczną i że możemy dokładnie poznać wartości funkcji w pewnym przedziale . Metoda ta jest mocno ograniczona przez wszechobecny szum w cyfrowych systemach obrazowania, ale może się sprawdzać w obrazowaniu radarowym , astronomicznym , mikroskopowym czy rezonansu magnetycznego . Niedawno zaproponowano szybki algorytm superrozdzielczości pojedynczego obrazu, oparty na rozwiązaniu problemów w formie zamkniętej, i wykazano, że znacznie przyspiesza większość istniejących bayesowskich metod superrozdzielczości.
Aliasy
Algorytmy rekonstrukcji geometrycznej SR są możliwe wtedy i tylko wtedy, gdy wejściowe obrazy o niskiej rozdzielczości są niedostatecznie próbkowane i dlatego zawierają aliasy . Z powodu tego aliasingu, zawartość wysokiej częstotliwości pożądanego obrazu rekonstrukcji jest osadzona w zawartości niskiej częstotliwości każdego z obserwowanych obrazów. Przy wystarczającej liczbie obrazów z obserwacji i jeśli zestaw obserwacji różni się fazą (tj. obrazy sceny są przesunięte o subpiksel), wówczas informacja o fazie może być wykorzystana do oddzielenia aliasowanej wysokiej częstotliwości treści z treści o prawdziwej niskiej częstotliwości, a obraz w pełnej rozdzielczości można dokładnie zrekonstruować.
W praktyce to podejście oparte na częstotliwości nie jest wykorzystywane do rekonstrukcji, ale nawet w przypadku podejść przestrzennych (np. fuzja shift-add), obecność aliasingu jest nadal niezbędnym warunkiem rekonstrukcji SR.
Wdrożenia techniczne
Istnieją zarówno jednoramkowe, jak i wieloramkowe warianty SR. Wieloklatkowa SR wykorzystuje przesunięcia subpikseli między wieloma obrazami o niskiej rozdzielczości tej samej sceny. Tworzy obraz o lepszej rozdzielczości, łącząc informacje ze wszystkich obrazów o niskiej rozdzielczości, a utworzone obrazy o wyższej rozdzielczości lepiej opisują scenę. Metody jednoklatkowej SR próbują powiększyć obraz bez powodowania rozmycia. Te metody wykorzystują inne części obrazów o niskiej rozdzielczości lub inne niepowiązane obrazy, aby odgadnąć, jak powinien wyglądać obraz o wysokiej rozdzielczości. Algorytmy można również podzielić według ich dziedziny: częstotliwości lub przestrzeni . Początkowo metody super-rozdzielczości działały dobrze tylko w przypadku obrazów w skali szarości, ale naukowcy znaleźli metody dostosowania ich do obrazów z kolorowych kamer. Ostatnio pokazano również zastosowanie super-rozdzielczości dla danych 3D.
Badania
Istnieją obiecujące badania nad wykorzystaniem głębokich sieci konwolucyjnych do wykonywania superrozdzielczości. W szczególności pracy wykazano pokazano transformację 20x mikroskopowym obrazem ziaren pyłku do 1500x skaningowego mikroskopu elektronowego obrazu użyciem. Chociaż ta technika może zwiększyć zawartość informacji w obrazie, nie ma gwarancji, że przeskalowane funkcje istnieją w oryginalnym obrazie, a głęboko splotowe skalery nie powinny być używane w aplikacjach analitycznych z niejednoznacznymi danymi wejściowymi.
Zobacz też
Bibliografia
- Curtis, Craig H.; Milster, Tom D. (październik 1992). „Analiza superrozdzielczości w magneto-optycznych urządzeniach do przechowywania danych”. Optyka stosowana . 31 (29): 6272–6279. Kod bib : 1992ApOpt..31.6272M . doi : 10.1364/AO.31.006272 . PMID 20733840 .
- Zalewski Z.; Mendlović, D. (2003). Optyczna superrozdzielczość . Skoczek. Numer ISBN 978-0-387-00591-1.
- Caron, JN (wrzesień 2004). „Szybkie supersampling sekwencji wieloramkowych za pomocą ślepej dekonwolucji”. Litery optyki . 29 (17): 1986-1988. Kod bib : 2004OptL...29.1986C . doi : 10.1364/OL.29.001986 . PMID 15455755 .
- Klemens, GT; Huttunen, J.; Hynynen, K. (2005). „Obrazowanie ultrasonograficzne superrozdzielczości przy użyciu rekonstrukcji wstecznej”. Dziennik Amerykańskiego Towarzystwa Akustycznego . 118 (6): 3953–3960. Kod Bib : 2005ASAJ..118.3953C . doi : 10.1121/1.2109167 . PMID 16419839 .
- Geislera, WS; Perry, JS (2011). „Statystyki dla optymalnego przewidywania punktów w naturalnych obrazach” . Dziennik Wizji . 11 (12): 14. doi : 10.1167/11.12.14 . PMC 5144165 . PMID 22011382 .
- Cheung, V.; Frey, BJ; Jojic, N. (20-25 czerwca 2005). Epitoma wideo (PDF) . Konferencja na temat wizji komputerowej i rozpoznawania wzorców (CVPR). 1 . s. 42–49. doi : 10.1109/CVPR.2005.366 .
- Bertero, M.; Boccacci, P. (październik 2003). „Super rozdzielczość w obrazowaniu obliczeniowym”. Mikron . 34 (6-7): 265-273. doi : 10.1016/s0968-4328(03)00051-9 . PMID 12932769 .
-
Borman S.; Stevenson, R. (1998). „Wzmocnienie rozdzielczości przestrzennej sekwencji obrazów o niskiej rozdzielczości – kompleksowy przegląd wraz z kierunkami przyszłych badań” (raport techniczny) . Uniwersytet Notre Dame. Cytowanie dziennika wymaga
|journal=
( pomoc ) - Borman S.; Stevenson, R. (1998). Super rozdzielczość z sekwencji obrazów — recenzja (PDF) . Sympozjum Środkowego Zachodu na temat obwodów i systemów.
- Park, Karolina Południowa; Park, MK; Kang, MG (maj 2003). „Rekonstrukcja obrazu w super rozdzielczości: przegląd techniczny”. Magazyn IEEE dotyczący przetwarzania sygnałów . 20 (3): 21–36. Kod bib : 2003ISPM...20...21P . doi : 10.1109/MSP.2003.12030207 .
- Farsiu, S.; Robinson, D.; Ellad, M.; Milanfar, P. (sierpień 2004). „Postępy i wyzwania w super-rozdzielczości”. International Journal of Imaging Systems and Technology . 14 (2): 47–57. doi : 10.1002/ima.20007 . S2CID 12351561 .
- Ellad, M.; Hel-Or, Y. (sierpień 2001). „Szybki algorytm rekonstrukcji super-rozdzielczości dla czystego ruchu translacyjnego i rozmycia niezmiennego w przestrzeni”. Transakcje IEEE dotyczące przetwarzania obrazu . 10 (8): 1187-1193. Kod bib : 2001ITIP...10.1187E . CiteSeerX 10.1.1.11.2502 . doi : 10.1109/83.935034 . PMID 18255535 .
- Irani, M.; Peleg S. (czerwiec 1990). Super rozdzielczość z sekwencji obrazów (PDF) . Międzynarodowa Konferencja Rozpoznawania Wzorców. 2 . s. 115-120.
- Sroubek, F.; Cristobala, G.; Flusser, J. (2007). „Zunifikowane podejście do superrozdzielczości i wielokanałowej ślepej dekonwolucji”. Transakcje IEEE dotyczące przetwarzania obrazu . 16 (9): 2322–2332. Kod Bib : 2007ITIP...16.2322S . doi : 10.1109/TIP.2007.903256 . PMID 17784605 . S2CID 6367149 .
- Calabuig, Alejandro; Mico, Vincente; Garcia, Javier; Zalewski, Zeev; Ferreira, Carlos (marzec 2011). „Pojedyncza ekspozycja super-rozdzielczej mikroskopii interferometrycznej przez multipleksowanie czerwono-zielono-niebieskie”. Litery optyki . 36 (6): 885–887. Kod Bibcode : 2011OptL...36..885C . doi : 10.1364/OL.36.000885 . PMID 21403717 .
- Chan, Wai-San; Lam, Edmund; Ng, Michael K.; Mak, Giuseppe Y. (wrzesień 2007). „Rekonstrukcja Super rozdzielczości w obliczeniowym systemie obrazowania złożonego oka”. Systemy wielowymiarowe i przetwarzanie sygnałów . 18 (2-3): 83-101. doi : 10.1007/s11045-007-0022-3 . S2CID 16452552 .
- Ng, Michael K.; Shen, Huanfeng; Lam, Edmund Y.; Zhang, Liangpei (2007). „Algorytm rekonstrukcji super-rozdzielczości oparty na całkowitej zmienności dla cyfrowego wideo” . Dziennik EURASIP na temat postępów w przetwarzaniu sygnałów . 2007 : 074585. Kod bib : 2007EJASP2007..104N . doi : 10.1155/2007/74585 .
- Glasner, D.; Bagon S.; Irani, M. (październik 2009). Super-rozdzielczość z jednego obrazu (PDF) . Międzynarodowa Konferencja Wizji Komputerowej (ICCV).; "przykład i wyniki" .
- Ben-Ezra, M.; Lin, Zhouchen; Wilburn, B.; Zhang, Wei (lipiec 2011). „Penrose Pixels dla super-rozdzielczości” (PDF) . Transakcje IEEE dotyczące analizy wzorców i inteligencji maszynowej . 33 (7): 1370–1383. CiteSeerX 10.1.1.174.8804 . doi : 10.1109/TPAMI.2010.213 . PMID 21135446 . S2CID 184868 .
- Timofte, R.; De Smet, V.; Van Gool, L. (listopad 2014). A+: Skorygowana regresja zakotwiczonego sąsiedztwa dla szybkiej superrozdzielczości (PDF) . 12. Azjatycka Konferencja Wizji Komputerowej (ACCV).; "kody i dane" .
- Huang, JB; Singh, A.; Ahuja, N. (czerwiec 2015). Super rozdzielczość pojedynczego obrazu z przetworzonych autowzorów . Konferencja IEEE na temat wizji komputerowej i rozpoznawania wzorców .; "strona projektu" .
- CHRISTENSEN-JEFFRIES, T.; COUTURE, O.; DAYTON, PA; ELDAR, YC; HYNYNEN, K.; KIESSLING, F.; O'REILLY, M.; PINTON, GF; SCHMITZ, G.; TANG, M.-X.; TANTER, M.; VAN SLOUN, RJG (2020). „Obrazowanie ultradźwiękowe w super rozdzielczości” . USG w Med. & Biol . 46 (4): 865–891. doi : 10.1016/j.ultrasmedbio.2019.11.013 . PMID 31973952 .