Scribe (serwer dziennika) - Scribe (log server)
Deweloper(zy) | Facebook, Inc. |
---|---|
Pierwsze wydanie | 24 października 2008 |
Magazyn | |
Napisane w | C++ , Python |
Licencja | Licencja Apache 2.0 |
Strona internetowa | Strona główna Scribe (Github) |
Scribe był serwerem do agregowania danych dzienników przesyłanych strumieniowo w czasie rzeczywistym z wielu serwerów . Został zaprojektowany tak, aby był skalowalny , rozszerzalny bez modyfikacji po stronie klienta i odporny na awarie sieci lub dowolnej konkretnej maszyny.
Scribe został opracowany na Facebooku i wydany w 2008 roku jako open source .
Serwery Scribe są ułożone w grafie ukierunkowanym, przy czym każdy serwer wie tylko o następnym serwerze na grafie. Ta topologia sieci umożliwia dodawanie dodatkowych warstw rozszerzania w miarę rozwoju systemu i grupowanie komunikatów przed wysłaniem ich między centrami danych, bez konieczności posiadania kodu, który wyraźnie wymaga zrozumienia topologii centrum danych, a jedynie prostą konfigurację.
Scribe został zaprojektowany z myślą o niezawodności, ale nie wymaga ciężkich protokołów i ekspansywnego wykorzystania dysku. Scribe buforuje dane na dysk w dowolnym węźle, aby obsłużyć sporadyczne awarie węzła łączności, ale nie synchronizuje pliku dziennika dla każdej wiadomości. Stwarza to możliwość utraty niewielkiej ilości danych w przypadku awarii lub katastrofalnej awarii sprzętu. Jednak ten stopień niezawodności jest często odpowiedni dla większości przypadków użycia Facebooka .
Zobacz też
- Apache Flume
- Fluentd : Zaloguj wszystko w JSON
Uwagi i referencje
Zewnętrzne linki
- Open Source - programiści Facebooka
- Prawdziwa wartość Scribe dla open source
- Projekt Scribe na GitHub