Bank drzew - Treebank

Większość banków drzew składniowych opisuje warianty struktury fraz (po lewej) lub struktury zależności (po prawej).

W językoznawstwie , A bank drzew jest sparsowaną korpus że annotates syntaktycznej lub semantycznej zdania strukturę. Konstrukcja analizowanych korpusów na początku lat 90. zrewolucjonizowała lingwistykę komputerową , która korzystała z danych empirycznych na dużą skalę .

Etymologia

Termin bank drzew został ukuty przez językoznawcę Geoffreya Leecha w latach 80., przez analogię do innych repozytoriów, takich jak bank nasion lub bank krwi . Dzieje się tak dlatego, że zarówno struktura syntaktyczna, jak i semantyczna są powszechnie reprezentowane kompozycyjnie jako struktura drzewiasta . Termin parsed corpus jest często używany zamiennie z terminem treebank, z naciskiem na prymat zdań, a nie drzew.

Budowa

Banki drzew są często tworzone na szczycie korpusu, który został już opatrzony adnotacjami tagami części mowy . Z kolei banki drzew są czasami wzbogacane o informacje semantyczne lub inne informacje językowe. Treebanki mogą być tworzone całkowicie ręcznie, gdzie lingwiści przypisują każde zdanie strukturą syntaktyczną, lub półautomatycznie, gdzie parser przypisuje pewną strukturę syntaktyczną, którą lingwiści sprawdzają i, jeśli to konieczne, poprawiają. W praktyce pełne sprawdzenie i zakończenie parsowania korpusów języka naturalnego jest pracochłonnym projektem, który może zająć zespołom absolwentów lingwistów kilka lat. Poziom szczegółowości adnotacji i szerokość próby językowej określają trudność zadania i czas potrzebny do zbudowania banku drzew.

Przykładowe drzewo struktury frazy dla Jana kocha Mary

Hybrydowe drzewo okręgów/zależności z Koranu Arabskiego

Niektóre treebanks śledzić konkretną teorię językowej w ich składniowej adnotacji (np BulTreeBank następująco HPSG ) ale większość staram się być mniej teoria specyficzne. Można jednak wyróżnić dwie główne grupy: banki drzew, które opisują strukturę fraz (np. Penn Treebank lub ICE-GB ) oraz te, które opisują strukturę zależności (np. Prague Dependency Treebank lub Quranic Arabic Dependency Treebank ).

Ważne jest, aby wyjaśnić rozróżnienie między formalną reprezentacją a formatem pliku używanym do przechowywania danych z adnotacjami. Banki drzew są z konieczności konstruowane zgodnie z konkretną gramatyką. Ta sama gramatyka może być zaimplementowana w różnych formatach plików. Na przykład, analiza składniowa John loves Mary , pokazana na rysunku po prawej, może być reprezentowana przez proste nawiasy w pliku tekstowym, tak jak poniżej (zgodnie z notacją Penn Treebank ):

(S (NP (NNP John))
   (VP (VPZ loves)
       (NP (NNP Mary)))
   (. .))

Ten rodzaj reprezentacji jest popularny, ponieważ nie wykorzystuje zasobów, a struktura drzewa jest stosunkowo łatwa do odczytania bez narzędzi programowych. Jednak w miarę jak korpusy stają się coraz bardziej złożone, preferowane mogą być inne formaty plików. Alternatywy obejmują schematy XML specyficzne dla banku drzewa , wcięcia numerowane i różne typy notacji odstającej .

Aplikacje

Z perspektywy lingwistyki komputerowej banki drzew zostały wykorzystane do projektowania najnowocześniejszych systemów przetwarzania języka naturalnego, takich jak znaczniki części mowy , parsery , analizatory semantyczne i systemy tłumaczenia maszynowego. Większość systemów obliczeniowych wykorzystuje dane banku drzew o złotym standardzie. Jednak automatycznie analizowany korpus, który nie jest korygowany przez lingwistów, może być nadal przydatny. Może dostarczyć dowodu na częstotliwość reguł dla parsera. Parser można ulepszyć, stosując go do dużej ilości tekstu i zbierając częstotliwości reguł. Powinno być jednak oczywiste, że tylko poprzez proces ręcznego poprawiania i uzupełniania korpusu można wtedy zidentyfikować reguły nieobecne w bazie wiedzy parsera. Ponadto częstotliwości będą prawdopodobnie dokładniejsze.

W lingwistyce korpusowej banki drzew są wykorzystywane do badania zjawisk syntaktycznych (na przykład korpusy diachroniczne mogą służyć do badania przebiegu zmian składniowych w czasie). Po przeanalizowaniu korpus będzie zawierał dowody częstotliwości pokazujące, jak często używane są różne struktury gramatyczne. Banki drzew dostarczają również dowodów na pokrycie i wspierają odkrywanie nowych, nieoczekiwanych zjawisk gramatycznych.

Innym zastosowaniem banków drzew w lingwistyce teoretycznej i psycholingwistyce jest dowód interakcji. Ukończony bank drzew może pomóc językoznawcom w przeprowadzeniu eksperymentów dotyczących tego, w jaki sposób decyzja o użyciu jednej konstrukcji gramatycznej wpływa na decyzję o tworzeniu innych, a także w próbie zrozumienia, w jaki sposób mówcy i pisarze podejmują decyzje podczas tworzenia zdań. Badania interakcji są szczególnie owocne, gdy do korpusu dodawane są kolejne warstwy adnotacji, np. semantyczna, pragmatyczna. Następnie można ocenić wpływ zjawisk niesyntaktycznych na wybory gramatyczne.

W badaniach językoznawczych dane z banku drzew z adnotacjami zostały wykorzystane w badaniach składniowych do testowania lingwistycznych teorii struktury zdań z dużą ilością naturalnie występujących przykładów.

Semantyczne banki drzew

Bank drzewa semantycznego to zbiór zdań w języku naturalnym, opatrzonych adnotacjami reprezentacji znaczenia. Zasoby te wykorzystują formalną reprezentację struktury semantycznej każdego zdania . Semantyczne banki drzew różnią się głębokością swojej reprezentacji semantycznej. Godnym uwagi przykładem głębokiej adnotacji semantycznej jest Groningen Meaning Bank , opracowany na Uniwersytecie w Groningen i opatrzony adnotacjami przy użyciu teorii reprezentacji dyskursu . Przykładem płytkiego banku drzewa semantycznego jest PropBank , który zapewnia adnotacje zdań werbalnych i ich argumentów, bez próby przedstawienia każdego słowa w korpusie w formie logicznej .

Syntaktyczne banki drzew

Opracowano wiele banków drzew składniowych dla wielu różnych języków:

Aby ułatwić dalsze badania między zadaniami wielojęzycznymi, niektórzy badacze omówili uniwersalny schemat adnotacji dla wielu języków. W ten sposób ludzie próbują wykorzystać lub połączyć zalety różnych korpusów banków drzew. Na przykład Uniwersalne podejście do adnotacji dla banków drzew zależności; oraz uniwersalne podejście do adnotacji dla banków drzew struktury fraz.

Narzędzia wyszukiwania

Jednym z kluczowych sposobów wydobywania dowodów z banku drzew są narzędzia wyszukiwania. Narzędzia wyszukiwania analizowanych korpusów zazwyczaj zależą od schematu adnotacji zastosowanego do korpusu. Interfejsy użytkownika są bardzo wyrafinowane, od opartych na wyrażeniach systemów zapytań przeznaczonych dla programistów do pełnych środowisk eksploracyjnych przeznaczonych dla ogólnych lingwistów. Wallis (2008) szczegółowo omawia zasady przeszukiwania banków drzew i dokonuje przeglądu stanu wiedzy z tamtego okresu.

Zobacz też

• Korpus tekstowy
• Gramatyka struktury fraz
• Gramatyka zależności
• Rozbiór gramatyczny zdania
• Oznaczanie części mowy

Bibliografia