Samonadzorowana nauka - Self-supervised learning

Samonadzorowane uczenie się (SSL) to metoda uczenia maszynowego . Uczy się na podstawie nieoznakowanych danych przykładowych . Można ją traktować jako formę pośrednią między uczeniem się nadzorowanym i nienadzorowanym . Opiera się na sztucznej sieci neuronowej . Sieć neuronowa uczy się w dwóch krokach. Po pierwsze, zadanie jest rozwiązywane na podstawie pseudoetykiet, które pomagają inicjować wagi sieci. Po drugie, faktyczne zadanie jest wykonywane przy uczeniu nadzorowanym lub nienadzorowanym. Samonadzorowane uczenie się przyniosło w ostatnich latach obiecujące wyniki i znalazło praktyczne zastosowanie w przetwarzaniu dźwięku i jest wykorzystywane przez Facebooka i inne firmy do rozpoznawania mowy . Główną zaletą SSL jest to, że szkolenie może odbywać się z danymi o niższej jakości, a nie poprawiać ostateczne wyniki. Samonadzorowane uczenie się lepiej naśladuje sposób, w jaki ludzie uczą się klasyfikować przedmioty.

Rodzaje

Dane treningowe można podzielić na przykłady pozytywne i przykłady negatywne. Pozytywnymi przykładami są te, które pasują do celu. Na przykład, jeśli uczysz się rozpoznawać ptaki, pozytywnymi danymi treningowymi są te zdjęcia, które przedstawiają ptaki. Negatywne przykłady to te, które nie.

Kontrastowe SSL

Kontrastywny SSL wykorzystuje zarówno pozytywne, jak i negatywne przykłady. Funkcja utraty kontrastu minimalizuje odległość między próbkami dodatnimi, jednocześnie maksymalizując odległość między próbkami ujemnymi.

Niekontrastowe SSL

Niekontrastowy protokół SSL wykorzystuje tylko pozytywne przykłady. Wbrew intuicji NCSSL skupia się na użytecznym minimum lokalnym, zamiast osiągać oczekiwaną funkcję identyfikacji z zerową stratą. Skuteczne NCSSL wymaga dodatkowego predyktora po stronie online, który nie propaguje wstecznie po stronie docelowej.

Porównanie z innymi formami uczenia maszynowego

SSL należy do nadzorowanych metod uczenia się, o ile celem jest wygenerowanie sklasyfikowanych danych wyjściowych z danych wejściowych. Jednocześnie jednak nie wymaga wyraźnego użycia oznaczonych par wejście-wyjście. Zamiast tego korelacje, metadane osadzone w danych lub wiedza dziedzinowa obecna na wejściu są niejawnie i autonomicznie wyodrębniane z danych. Te sygnały nadzorcze, generowane z danych, mogą być następnie wykorzystane do szkolenia.

Protokół SSL jest podobny do uczenia nienadzorowanego, ponieważ nie wymaga etykiet w przykładowych danych. Jednak w przeciwieństwie do uczenia nienadzorowanego, uczenie nie odbywa się przy użyciu nieodłącznych struktur danych.

Częściowo nadzorowane uczenie łączy uczenie nadzorowane i nienadzorowane, wymagając etykietowania tylko niewielkiej części danych uczenia się.

W uczeniu transferowym model zaprojektowany dla jednego zadania jest ponownie wykorzystywany w innym zadaniu.

Przykłady

Samonadzorowana nauka jest szczególnie odpowiednia do rozpoznawania mowy. Na przykład Facebook opracował wav2vec, samonadzorowany algorytm do rozpoznawania mowy przy użyciu dwóch głębokich, splotowych sieci neuronowych, które wzajemnie się budują.

Google jest dwukierunkowe enkodera Reprezentacje z Transformers modelu (BERT) jest używany, aby lepiej zrozumieć kontekst zapytań.

OpenAI „s GPT-3 jest autoregresji modelu języka , które mogą być wykorzystywane w przetwarzaniu języka. Może służyć między innymi do tłumaczenia tekstów lub odpowiadania na pytania.

Bootstrap Your Own Latent to NCSSL, który dał doskonałe wyniki w ImageNet oraz w testach transferowych i częściowo nadzorowanych.

DirectPred to NCSSL, który bezpośrednio ustawia wagi predyktorów, zamiast uczyć się ich za pomocą aktualizacji gradientu .

Bibliografia

Zewnętrzne linki