Maszyna Neural Turinga - Neural Turing machine
Maszyna Turinga neuronowe ( NTMS ) jest o charakterze powtarzającym się sieć neuronowa modelu. Podejście zostało opublikowane przez Alexa Gravesa i wsp. w 2014 roku NTMS połączyć rozmytych pasujące do wzorca możliwości sieci neuronowych z algorytmicznego mocy programowalnych komputerów . NTM ma kontroler sieci neuronowej połączony z zewnętrznymi zasobami pamięci , z którymi współdziała poprzez mechanizmy uwagi. Interakcje pamięci są zróżnicowane od końca do końca, co umożliwia ich optymalizację za pomocą gradientu . Kontroler sieciowy NTM z pamięcią długoterminową (LSTM) może wywnioskować z samych przykładów proste algorytmy, takie jak kopiowanie, sortowanie i przywoływanie asocjacyjne.
Autorzy oryginalnego artykułu NTM nie opublikowali swojego kodu źródłowego . Pierwsza stabilna implementacja open-source została opublikowana w 2018 roku na 27.Międzynarodowej Konferencji Sztucznych Sieci Neuronowych, otrzymując nagrodę za najlepszy artykuł. Istnieją inne implementacje NTM typu open source, ale nie są one wystarczająco stabilne do użytku produkcyjnego. Deweloperzy albo zgłaszają, że gradienty ich implementacji czasami stają się NaN podczas szkolenia z nieznanych powodów i powodują niepowodzenie szkolenia; zgłosić powolną konwergencję; lub nie zgłaszaj szybkości uczenia się ich realizacji.
Rozróżnialne komputery neuronowe są wyrostkiem maszyn Neural Turinga , z mechanizmami uwagi, które kontrolują, gdzie pamięć jest aktywna i poprawiają wydajność.
Zobacz też
- Powtarzająca się sieć neuronowa
- Alex Graves (informatyk)
- Maszyna Turinga
- Programowanie różniczkowalne