Rozproszony system plików OneFS - OneFS distributed file system

OneFS
Deweloper(zy) Systemy Isilona
Pełne imię i nazwisko OneFS
Wprowadzono 2003 ; 18 lat temu z OneFS 1.0 -- opartym na FreeBSD ( 2003 )
Struktury
Zawartość katalogu B+ drzew
Przydział plików B+ drzew
Limity
Maks. wielkość woluminu 66 PB+ (144+ węzły po 470 TB+ każdy); 65535 węzłów teoretyczny limit
Maks. rozmiar pliku 16TB
Maks. liczba plików Zależy od wielkości klastra
Maks. długość nazwy pliku 255 bajtów
Maks. głębokość katalogu 509 (sugerowane, aby zmieścić się w PATH_MAX z 1023)
Dozwolone znaki w nazwach plików Wiele (UTF-8, EUC-JP, CP932, CP1252, ISO-8859-*, EUC-KR, CP949). Kodowanie jest wpisem na katalog, a nie na system plików. Tak więc w jednym woluminie można używać wielu kodowań. UTF-8 jest zalecany jako normatywny. NULi /nie są dozwolone w poszczególnych wpisach katalogu w dowolnym kodowaniu.
Cechy
Daty zarejestrowania Utwórz czas, zmień nazwę czasu, mtime, ctime, atime
Zakres dat 1970 do 2038
Rozdzielczość daty Nanosekunda
Widelce Tak (rozszerzone atrybuty i alternatywne strumienie danych )
Uprawnienia systemu plików Tak ( uprawnienia POSIX i listy ACL NTFS )
Przezroczysta kompresja TAk
Przejrzyste szyfrowanie Zintegrowany z dyskami samoszyfrującymi do szyfrowania „ danych w spoczynku ”
Deduplikacja danych Tylko w trybie offline
Kopiowanie na piśmie Tak (dla migawek)
Inne
Obsługiwane systemy operacyjne OneFS

OneFS File System jest równolegle rozmieszczone sieciowy system plików zaprojektowany przez Isilon Systems i jest podstawą do Isilon skalowalne Storage Platform . System plików OneFS jest kontrolowany i zarządzany przez system operacyjny OneFS , wariant FreeBSD .

Struktura na dysku

Wszystkie struktury danych w systemie plików OneFS zachowują własne informacje o ochronie. Oznacza to, że w tym samym systemie plików jeden plik może być chroniony w stopniu +1 (podstawowa ochrona parzystości), podczas gdy inny może być chroniony w stopniu +4 (odporny na cztery awarie), a jeszcze inny plik może być chroniony w stopniu 2x ( dublowanie ); ta funkcja jest określana jako FlexProtect. FlexProtect odpowiada również za automatyczną odbudowę danych w przypadku awarii. Dostępne poziomy ochrony są oparte na liczbie węzłów w klastrze i są zgodne z algorytmem Reed Solomon Algorithm . Bloki dla pojedynczego pliku są rozłożone w węzłach. Pozwala to na awarię całych węzłów bez utraty dostępu do jakichkolwiek danych. Metadane plików , katalogi, struktury migawek, struktury przydziałów i struktura mapowania logicznego węzła są oparte na lustrzanych drzewach B+ . Adresy blokowe to uogólnione 64-bitowe wskaźniki, które odwołują się do krotek (węzeł, dysk, blknum) . Natywny rozmiar bloku to 8192 bajtów; i-węzły mają na dysku 512 bajtów (dla dysków z sektorami 512 bajtów) lub 8KB (dla dysków z sektorami 4KB).

Jedną z charakterystycznych cech OneFS jest to, że metadane są rozmieszczone w węzłach w sposób jednorodny. Nie ma dedykowanych serwerów metadanych. Jedyną częścią metadanych, która jest replikowana w każdym węźle, jest lista adresów bloków root btree struktury mapowania i-węzłów. Wszystko inne można znaleźć od tego punktu początkowego, podążając za uogólnionymi wskaźnikami 64-bitowymi.

Grupowanie

Zbiór hostów komputerowych składający się na system OneFS jest określany jako „ klaster ”. Host komputera, który jest członkiem klastra OneFS, jest określany jako „ węzeł ” (liczba mnoga „ węzły ”).

Węzły składające się na system OneFS muszą być połączone przez sieć zaplecza o wysokiej wydajności i niskich opóźnieniach, aby zapewnić optymalną wydajność. OneFS 1.0-3.0 używał Gigabit Ethernet jako tej sieci zaplecza. Począwszy od OneFS 3.5, Isilon oferował modele InfiniBand . Od około 2007 r. do połowy 2018 r. wszystkie sprzedane węzły korzystały z zaplecza InfiniBand. Począwszy od modeli OneFS 8.1.0 i Gen6, Isilon ponownie oferuje sieć zaplecza Ethernet (10, 25, 40 lub 100 Gigabit).

Dane, metadane, blokowanie, transakcje, zarządzanie grupami, alokacja i ruch zdarzeń są przekazywane za pomocą mechanizmu RPC podróżującego przez sieć zaplecza klastra OneFS. Wszystkie transfery danych i metadanych są zerowe . Wszystkie operacje modyfikacji struktur na dysku są transakcyjne i kronikowane .

Protokoły

OneFS obsługuje dostęp do zapisanych plików przy użyciu popularnych protokołów sieciowych, w tym NFS , CIFS/SMB , FTP , HTTP i HDFS . Może wykorzystywać uwierzytelnianie nielokalne, takie jak Active Directory , LDAP i NIS . Jest w stanie łączyć się z zewnętrznymi urządzeniami i aplikacjami do tworzenia kopii zapasowych korzystającymi z protokołu NDMP .

System operacyjny OneFS

OneFS File System to zastrzeżony system plików, który może być zarządzany i kontrolowany tylko przez wywodzący się z FreeBSD system operacyjny OneFS.

zsh to domyślna powłoka logowania systemu operacyjnego OneFS. OneFS przedstawia wyspecjalizowany zestaw poleceń do administrowania systemem plików OneFS. Większość wyspecjalizowanych programów powłoki zaczyna się od liter isi . Godnymi uwagi wyjątkami są rozszerzenia Isilon do FreeBSD lsi chmodprogramów.

Wersje

  • 1,0 „Dzwonek”, 2,0 „Jalapeno”, 3,0 „Serrano”, 3,5 „Tabasco”
  • 4,0 „Poblano”, 4,1 „Anaheim”, 4,5 „tajski”, 4,6 „Ancho”
  • 4.7 „Chiltepin”
    • 4.7.1 do .11
  • 5.0 „jamajski”
    • 5.0.0 do .8
  • 5.5 „Scotch Bonnet” (w oparciu o FreeBSD 6.1)
    • 5.5.1 do .2
    • 5.5.3 - Aktualizacje systemu operacyjnego z ciągłymi restartami poszczególnych węzłów.
    • 5.5.4 — Dodaje iSCSI
    • 5.5.5 do .7
  • 6.0 „Habanero” — do 10,4 PB w jednym systemie plików
    • 6.0.1 do .4
  • 6.5 „Chopu” (w oparciu o FreeBSD 7.3)
    • 6.5.1 do .5
  • 7.0 „Mavericks” - wydany w listopadzie 2012 r.; (oparty na FreeBSD 7.4-STABILNY)
    • 7.0.1 do .2
  • 7.1 "Waikiki" - wydany w październiku 2013
    • 7.1.1 „Szczęki” – wydany w lipcu 2014
  • 7.2 "Moby" - wydany w listopadzie 2014
    • 7.2.0, 7.2.1
  • 8.0 „Riptide” (oparty na FreeBSD 10) — wydany w lutym 2016 r. — iSCSI przestarzałe
    • 8.0.1 "Halfpipe" - wydany w październiku 2016
  • 8.1 "Pociągi towarowe" - wydany w czerwcu 2017 r.
    • 8.1.1 "Niijima" - wydany w styczniu 2018
    • 8.1.2 „Kanagawa” — wydany w sierpniu 2018 r.
    • 8.1.3 „Sejsmiczne” — wydany w styczniu 2019 r.
  • 8.2.0 "Pipeline" (oparty na FreeBSD 11) - wydany w maju 2019 r.
    • 8.2.1 „Acela” – wydany we wrześniu 2019 r.
    • 8.2.2 „Beachcomber” – wydany w styczniu 2020 r.
  • 9.0.0.0 „Kaskady” — wydany w czerwcu 2020 r.
    • 9.1.0.0 - Wydany w październiku 2020 r.

Zobacz też

Bibliografia

Linki zewnętrzne