Nieformalny walidacji metody (i) - Weryfikacja Informal Methods (Validation and Verification)
- Więcej informacji na temat walidacji i weryfikacji, zobacz weryfikacji i walidacji .
Nieformalne metody walidacji i weryfikacji są jednymi z częściej wykorzystywane w modelowaniu i symulacji. Nazywane są nieformalne, ponieważ są one bardziej jakościowe niż ilościowe. Podczas gdy wiele metod walidacji lub weryfikacji polegać na wynikach liczbowych, metody nieformalne coraz częściej opierają się na opiniach ekspertów, aby wyciągnąć wnioski. Chociaż wyniki liczbowe nie są głównym celem, to nie znaczy, że wyniki liczbowe są całkowicie ignorowane. Istnieje kilka powodów, dlaczego nieformalny sposób mogą zostać wybrane. W niektórych przypadkach, metody nieformalne oferują wygodę szybkiego testu, aby sprawdzić, czy model może zostać zatwierdzone. W innych przypadkach, metody nieformalne są najlepszą dostępną opcją. We wszystkich przypadkach, chociaż ważne jest, aby pamiętać, że nieformalna nie znaczy, że jest mniej prawdziwego metody testowania. Metody te powinny być wykonane z tej samej dyscypliny i struktury, które można by oczekiwać w „formalnie” metod. Kiedy wykonywane w taki sposób, stałe wnioski mogą być wykonane.
W modelowaniu i symulacji, techniki weryfikacji są wykorzystywane do analizy stanu modelu. Weryfikacja jest zakończone różnymi metodami z naciskiem porównywania różnych aspektów modelu wykonywalnego z modelu koncepcyjnego. Z drugiej strony, metody walidacji są metody, dzięki którym model, zarówno koncepcyjne lub wykonywalny jest porównywana z sytuacją stara się modelować. Oba są metody, dzięki którym model może być analizowane, aby pomóc znaleźć wady metod modelowania wykorzystywane lub potencjalnych przeinaczeń z sytuacji rzeczywistych.
Zawartość
Kontrola
Przegląd
Kontrola jest metoda weryfikacji, który jest używany do porównania jak prawdziwy koncepcyjne modelu pasuje do modelu wykonywalny. Zespoły ekspertów, programistów i testerów będzie dokładnie skanuje zawartość (algorytmy, kod programowania, Dokumenty, równania) W pierwotnym modelu koncepcyjnego, i porównać z odpowiednim odpowiednik w celu sprawdzenia, jak bardzo model wykonywalny mecze. Jednym z głównych celów tej metody weryfikacji jest sprawdzenie, co pierwotne cele zostały pominięte. Robiąc sprawdzenie inspekcji modelu, zespół może zobaczyć nie tylko to, co kwestie mogły być pomijane, ale także nadrobić ewentualne błędy, które mogą stać się problemem w dalszej części projektu.
W zależności od dostępnych zasobów, członkowie zespołu inspekcyjnego mogą lub nie mogą być częścią zespołu produkcyjnego modelu. Korzystnie będą one oddzielne grupy. Gdy są one z tej samej grupy, można potencjalnie uruchomić w kwestii, gdzie rzeczy są pomijane, ponieważ człon grupa wydała już czas patrząc na projekt z punktu widzenia produkcji. Kontrole są również bardziej elastyczne, że mogą one być doraźne lub wysoce uporządkowany, z członkami zespołu inspekcyjnego przydzielono konkretne role, takie jak moderatora, czytnika i nagrywarki i konkretnych kroków proceduralnych stosowanych w kontroli. Celem jest znalezienie inspektorzy i wady dokumentów między koncepcyjnego modelu i modelu wykonywalnego.
Przykłady Inspekcji
- Rozważmy przykład z [Schach, 1996].
Zespół kontroli projektu symulacji może zawierać moderatora; rejestrator; czytnik z zespołem projektowym symulacji, który wyjaśni proces projektowania i odpowiedzieć na pytania dotyczące projektu; przedstawiciel dewelopera, który będzie tłumaczył projekt do postaci wykonywalnego; MSP zaznajomieni z wymaganiami aplikacji i agenta V & V.
· Zespół projektowy Przegląd-Symulacja przygotowuje streszczenie projektu. To i związana z nim dokumentacja (np definicja problemu i celów, wymagań M & S, agenda inspekcja) jest dystrybuowany do wszystkich członków zespołu inspekcyjnego.
· Członkowie zespołu Przygotowanie-Kontrola indywidualnie przeglądu całej dokumentacji przewidzianej. Sukces inspekcji opiera się w dużej mierze na sumienności członków zespołu w ich przygotowaniu.
· Inspekcja Plany moderatora i krzesła Spotkanie inspekcji. Czytelnik prezentuje produkt i prowadzi zespół w procesie kontroli. Zespół inspekcyjny może być wspomagane podczas krytykanctwa procesu przez listę kontrolną zapytaniami. Celem jest zidentyfikowanie problemów, a nie do ich poprawiania. Pod koniec inspekcji nagrywarka przygotowuje raport o problemach wykrytych i przedkłada go do zespołu projektowego.
· Rework-Zespół projektowy rozwiązuje każdy problem zidentyfikowany w raporcie, dokumentujących wszystkie odpowiedzi i poprawek.
· Uzupełnienie-Moderator zapewnia, że wszystkie usterki i problemy zostały rozwiązane w sposób zadowalający. Wszystkie zmiany powinny być starannie zbadane w celu zapewnienia, że żadne nowe problemy zostały wprowadzone w wyniku korekty.
Walidacja twarz
Przegląd
Jedną z zalet jest to, że walidacja twarzy może być skutecznie stosowany w czasie rzeczywistym czasie symulacji wirtualnej, gdzie interakcja pomiędzy użytkownikiem a symulacja jest priorytetową. Jest skuteczny podczas tego typu symulacji, ponieważ te typy modeli wymaga wejścia / interakcji z użytkownikiem. Najlepszym sposobem, aby potwierdzić, że model spełnia te kryteria, to mając użytkownicy, którzy doświadczyli sytuacji modelu w prawdziwym życiu potwierdzić, że model dokładnie przedstawia sytuację znają. Użytkownicy, którzy są zaznajomieni z sytuacją zauważy korekt, które są potrzebne, że deweloper może nigdy nie wiadomo istniał. Choć tego typu walidacji jest skuteczna i najbardziej odpowiednie dla wirtualnych symulacji, jest on również używany do sprawdzania poprawności modeli, gdy jest krótki czas zaplanowane do testowania, lub gdy trudno jest produkować wyniki ilościowe, które mogą być analizowane. Podczas quantitaive rezultaty powinny być korzystny wynik, stały uwagę od sprawdzania specjalistów jest także do przyjęcia.
Przykłady Walidacja twarzy
- Dokładność odpowiedzi symulator lotu do kontrolowania wejść można ocenić poprzez doświadczony pilot latać symulatora poprzez szereg manewrów.
- Analizując dokładność odpowiedzi poker bot symulatora do danych wprowadzonych przez użytkownika, aby upewnić się, że AI reaguje w logiczny sposób.
- Mające żołnierz przetestować model, który symuluje sytuację bojową.
Rewizja
Przegląd
Badanie to technika weryfikacja wykonywane przez cały cykl życia rozwój nowego modelu lub symulacji lub podczas zmiany dokonane do starszych modeli i symulacji. Audyt jest funkcją personel, który służy jako „oczy i uszy Management”. Badanie służy do ustalenia, jak dobrze model pasuje wytyczne, które są ustawione w miejscu. Jeśli ścieżka audytu jest na swoim miejscu, każdy błąd w modelu powinien móc być wstecz do pierwotnego źródła, aby łatwiej znaleźć i dokonać korekty. Badanie prowadzone jest przez spotkania i po ścieżkę audytu w celu sprawdzenia problemów.
Przykłady Audytu
- Najczęstszym zastosowaniem audytu mogą być postrzegane, gdy obywatel jest „badanie”. Chociaż nie ma bezpośredniego zastosowania do modelowania i symulacji omówionych metod, wyjaśnia proces dyskutowane.
Walkthrough
Przegląd
Solucje są najbardziej czasochłonne i najbardziej formalnego nieformalnych metod. Podczas gdy są one najbardziej czasochłonne, są one także najbardziej skuteczny w wykrywaniu problemów z modelem. Instruktażu jest zaplanowane spotkanie z autorem / autorami odpowiedzialnych za modelu, lub dokumenty, które są ustawione zostać poddane przeglądowi. Oprócz autorów, jest zazwyczaj grupa wyższych technicznych oraz ewentualnie pracowników biznesowych, które są tam do analizy modelu. Wreszcie, nie jest moderator, który jest odpowiedzialny za prowadzenie spotkania. Przed oficjalnym spotkaniu, autor / autorzy przeglądu dokumentu / model dla ewentualnych błędów kosmetycznych. Gdy ta została sprawdzona, jest przekazywana do publiczności spotkań więc mają szansę dokładnie przejrzeć go na niespójności przed spotkaniem. Publiczność będzie zebrać jakieś pytania lub wątpliwości, że mogliby na podstawie ich wiedzy specjalistycznej w dziedzinie, jak również ich znajomości systemu. Na spotkaniu autor przedstawi dokument do publiczności, wyjaśniając metody i wyniki przedstawione. Koordynator jest odpowiedzialny za Fielding pytania od publiczności i prezentując je w nie zagrażające sposób. Poza wiodącym strukturę spotkania moderator ma notatki z zagadnień, które nadal pozostają w celu dystrybucji i analizować ponownie później.
Przykłady Solucja
- Autorzy referatu / książki siadając aby przejrzeć zawartość przed złożeniem do publikacji.
- Zespół programistyczną przeglądania produktu przed końcowym produktem jest wysyłany do zatwierdzenia przez klienta.
Przejrzeć
Przegląd
Przegląd jest podobny do instruktażu lub kontroli, z wyjątkiem zespołu do przeglądu zawiera również zarządzanie. Przegląd to przegląd całego procesu modelu, w tym zakresu wytycznych i specyfikacji, w celu zapewnienia zarządzania z zapewnieniem, że rozwój symulacja jest przeprowadzana w celu włączenia wszystkich celów koncepcji. Ponieważ celem jest coś więcej niż tylko przegląd techniczny, jest ona traktowana jako metoda wysokim poziomie. Podobnie jak w przypadku procesu Walkthrough, proces przeglądu powinien posiadać dokumenty złożone przed spotkaniem. Środek walidacji i weryfikacja powinna również przygotować zestaw wskaźników do pomiaru, takich jak te wymienione w poniższej tabeli.
Wskaźniki ocena
· Stosowność definicji problemów i wymagań M & S
· Odpowiedniość wszystkich założeń
· Przestrzeganie norm
· Metodyka modelowania
· Jakość przedstawień symulacyjnych
· Struktura modelu
· Model konsystencja
· Model kompletność
· dokumentacja
Główne punkty są wyróżnione przez Agenta V & V. Wydarzenia z posiedzenia, w tym potencjalne problemy i zalecenia, są rejestrowane w wyniku przeglądu. Na podstawie tych wyników, podejmowane są działania w celu rozwiązania kwestie podniesione. Niedobory są obsługiwane, a zalecenia są brane pod uwagę.
sprawdzanie biurko
Przegląd
O ile nie najlepsza technika do walidacji i weryfikacji, sprawdzanie biurko może być przydatna. Jest to jedyna technika, w której głównym obowiązkiem jest sprawdzenie jest umieszczone na autora modelu. sprawdzanie biuro składa się z autora staranne krokowym przez model próbując złapać nieścisłości. Autor będzie dokładnie przeczytać wszystkie oryginalne dokumenty, notatki i cele i starają się sprawdzić, czy zakończono produkt kompletnie i prawidłowo modelowane wszystkiego, co określone robić. Jest to także czas, kiedy każdy niekompletność powinien być złapany i poprawione. Podczas gdy odpowiedzialność nie spoczywa na podmiocie, który nie oznacza dotarcia do innych ekspertów o pomoc, to nie wchodzi w rachubę. sprawdzanie biuro jest wyraźnie najmniej formalny nieformalnych metod dyskutowanych, ale często jest to dobry pierwszą linię obrony w wyłapywaniu błędów i próby w celu weryfikacji i walidacji modelu.
Przykłady kontroli biurku
- Każdy programista, który rozwija oprogramowanie uczestniczy w nieformalnym sposób weryfikacji zwanej kontroli biurka. Debugowania oprogramowania, gdyż jest rozwijany jest formą kontroli biurka. Deweloper ustawia punkty przerwania lub sprawdza dane wyjściowe z modelu do sprawdzenia, czy jest on zgodny algorytmów opracowanych w modelu koncepcyjnego.
Test Turinga
Przegląd
Test Turinga to nieformalna metoda sprawdzania poprawności, który został opracowany przez angielskiego matematyka Alana Turinga w 1950 roku, która w swych korzeni w rzeczywistości jest wyspecjalizowaną formą walidacji twarzy. Powodem jest to podgrupa walidacji twarzy dlatego wszyscy ludzie mogą być postrzegane jako „ekspertów” na bycie w stanie przeanalizować, jak inni ludzie będą reagować w danej sytuacji. Konkretnie ten model jest najlepiej nadaje się do modelowania sytuacjach, które są mocno próbujących modelowanie zachowania człowieka. Widać, że model opierając się tak mocno na tak złożonego tematu może spowodować problemy. Zamiast starać się być mocno obliczeniowa w celu uwzględnienia czynników, które wpływają na ludzkie decyzje i wysoką zmienność pomiędzy różnymi ludźmi, ta metoda walidacji skupia się na jak model pojawi się na innych ludzi, które są nieświadomi, które źródło dane wyjściowe pochodzi - innych ludzi lub model. Model Test Turinga jest oparty na porównaniu, czy wyjściu z szybkością więcej niż przypadek, że mecz, który jest oczekiwany wynik dla zachowania człowieka w sytuacji jest modelować.
„Kiedy stosuje się do walidacji modeli zachowań ludzkich, model mówi się przejść test Turinga, a tym samym jest ważna, gdy obserwatorzy ekspertów nie można wiarygodnie odróżnić zachowania modelu generowane i ludzkiej generowane. Ponieważ cechą zachowania systemu generowane jest oceniany jest stopień, w jakim jest to nie do odróżnienia od ludzkich zachowań generowane, test ten jest wyraźnie bezpośrednio istotne dla oceny realizmu algorytmicznie generowanej zachowanie, a może nawet bardziej, niż do inteligencji jako Turinga pierwotnie proponowanej „.
Przykłady testów Turingowi
- Cleverbot jest interesującym przykładem. Cleverbot to aplikacja, która współpracuje z ludźmi, odpowiadając na pytania i uczenie się od odpowiedzi. Testowanie Cleverbot najlepiej jest zakończona za pomocą testu Turinga. Interakcja z Cleverbot pozwala użytkownikowi analizować, czy nie mogą odróżnić fakt, że jest to rzeczywiście tylko kod reaguje na nich, lub jeśli uważają, że jest to inny człowiek.
- algorytmy poker strategy zostały opracowane w stopniu, w którym użytkownik nie może powiedzieć różnicę między odtwarzaczem początkujący i poker-bot. Chociaż podstawowa strategia poker nie jest bardzo skomplikowane, biorąc go do następnego poziomu, aby całkowicie objąć zaawansowana strategia nie została osiągnięta.