Genealodzy.PL Podziel się na Facebooku

Genealodzy.PL

Użytkownik: Rejestracja
Hasło: Pamiętaj

Serwis Polskiego Towarzystwa Genealogicznego

flag-pol flag-eng home login logout Forum Fotoalbum Geneszukacz Parafie Geneteka Metryki Deklaracja Legiony Straty 03:15 wtorek, 23 lipca 2019

longpixel


Napisz nowy temat   Odpowiedz do tematu
Zobacz poprzedni temat Wersja gotowa do druku Zaloguj się, by sprawdzić wiadomości Zobacz następny temat
Autor Wiadomość
Jarosław_MłynikOffline
Temat postu:   PostWysłany: 19-05-2017 - 19:31
Członek PTG


Dołączył: 01-09-2015
Posty: 90

Status: Offline
Może najpierw należy zacząć od określenia potrzeb i możliwości.

Czy będzie się tym opiekował admin?

Czy to ma być 60TB w jednym kawałku? Jeśli tak to raczej wyklucza to zwykły RAID (5,6,10 ...) - odbudowa dysku ~ 10T trwać będzie pewnie dwa dni. Można by użyć jakiegoś sieciowego FS ale wtedy konfiguracja z jednym komputerem jest dość egzotyczna (chociaż da się). Jeśli zaś nie w jednym kawałku to będzie zrobionych kilka oddzielnych raidów dla kilku grup dysków. Problem z odbudową dużych dysków jednak pozostaje. No i jak to w takich sytuacjach jest ograniczenie jednego kontrolera sprzętowego - ciężko będzie odczytać dane z RAID5/6 jeśli kontroler zawiedzie (trzeba mieć drugi taki sam albo kompatybilny). Dla tak dużych dysków raczej matedevice nie zda egzaminu (zresztą i tak w grę wchodziłby tylko RAID10).

Przeciwieństwem składania macierzy z RAIDów jest np. CEPH i "erasure code". Ale wtedy potrzeby byłby admin (chociaż dobrze skonfigurowany byłby prawie samoobsługowy). Wspomniany ZFS to jeszcze inna bajka - ale też potrzeby jest admin - na start przynajmniej.

No i tak długo można by wymieniać...

--
Pozdrawiam
Jarosław Młynik
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
AleGorOffline
Temat postu:   PostWysłany: 19-05-2017 - 21:34
Sympatyk


Dołączył: 14-06-2007
Posty: 66

Status: Offline
Jeśli chodzi o dyski to teraz b. fajne są dyski z rodziny X300 Toshiba. Dość tanie, wydajne kręcą się na 7200rpm występują na potwierdzonych listach kompatybilności (np. Synology) jedyna wada, że teoretycznie klasy Desktop.

Piszę to nie po to aby zrobić jakaś reklamę ale jeśli całe urządzenie będzie robiło za magazyn to pewno większość czasu będzie "spało" więc wykładanie dodatkowych kilkuset złotych na każdy dysk który będzie bardzo wydajny pod obciążeniem nie ma sensu.

Albo idąc dalej tym tokiem myślenia pójść w dyski klasy "Archive" np z rodziny Seagate Archive i kupować już dyski 8 TB.

Niezależnie od wyboru w dostępnym budżecie wszytko się powinno zmieścić. Zainteresowani/decyzji konkretne modele na pewno sobie już znajdą.
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
Młochowski_JacekOffline
Temat postu:   PostWysłany: 20-05-2017 - 00:50
Zarząd PTG


Dołączył: 20-06-2006
Posty: 1689
Skąd: Radom
Status: Offline
Nasze koszty to jednorazowy zakup + utrzymanie.
Czego moim zdaniem potrzebujemy?
Potrzebujemy serwera plików do archiwizacji dostępnego przez Internet oraz czasem fizycznie utrzymywanego w bezpiecznym miejscu za w miarę niewielkie pieniądze ponieważ rozwiązanie przenośne już mamy. Ideałem byłaby darmowa lub prawie darmowa umowa na kolokację z jakąś instytucją. Być może ktoś mógłby w taki sposób wesprzeć stowarzyszenie non-profit działające pro publico bono. Być może ktoś zna taką instytucję lub ma z taką kontakt. Serwer musi być pojemny ale nie musi obsługiwać setek korzystających osób. Ma służyć tylko do archiwizacji i podglądu przez kilka osób. Mógłby być nawet włączany i wyłączany przez administratora serwerowni na telefon ponieważ większość czasu po prostu nie będzie używany. Nie muszą to być superszybkie dyski z najwyższej półki. Muszą być pewne ale nie do przesady. Nie będą non stop pracować dla dziesiątek internetowych sesji. Może to być NAS który usypia dyski jeśli nie są używane dla zmniejszenia poboru prądu i ilości wydzielanego ciepła. Przy 12-stu dyskach to ma znaczenie. Wynajęcie serwera (-ów) o interesujących nas pojemnościach dysków nie wchodzi w grę z powodu niedostępności takich rozwiązań w przystępnych cenach.
Dyski powinny być duże blisko maksymalnych wartości pojemności obsługiwanych przez serwer ponieważ potrzebujemy rozwiązania na długi czas a koszty utrzymania serwera plików z małymi czy dużymi dyskami są praktycznie takie same. Dwa lata temu postawiliśmy na 6TB Redy WD. Dzisiaj oferta jest szersza więc może to być coś innego.
Koszt utrzymania zależy od wielkości wyrażonej w U, energii potrzebnej do zasilania i przepustowości łącza internetowego.
Optymalną obudową dla serwerów utrzymywanych w serwerowniach, a takiego potrzebujemy, jest 19" rack. Serwer w innej obudowie wymagałby wynajęcia większej części szafy. Być może 5U zamiast 2U. Są co prawda serwery 12 dyskowe 1U ale do wymiany dysku trzeba je rozkręcać bo nie mają kieszeni i wymagają głębszej szafy.
Być może najlepszym rozwiązaniem byłby jakiś 12 zatokowy QNAP z racji że jednego Qnapa już mamy a oprogramowanie systemowe byłoby podobne. Spodziewam się też że ewentualna synchronizacja byłaby wtedy łatwiejsza.

_________________
Pozdrawiam serdecznie
Jacek Młochowski
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
Jarosław_MłynikOffline
Temat postu:   PostWysłany: 20-05-2017 - 17:46
Członek PTG


Dołączył: 01-09-2015
Posty: 90

Status: Offline
A problemy zwykłych raidów i dużych dysków będą jakoś uwzględnione? A co z rozbudową systemu (wymiany popsutych dysków na nowe i większe)?

Przy rzędach 8-12T to i zwykła statystyka zaczyna mieć znaczenie: http://www.zdnet.com/article/why-raid-6 ... g-in-2019/

Trzeba by składać dyski tak, aby nie były z tej samej serii itp.

--
Pozdrawiam
Jarosław Młynik
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
cuba888Offline
Temat postu:   PostWysłany: 20-05-2017 - 17:55


Dołączył: 20-05-2017
Posty: 1

Status: Offline
W przypadku dysków o dużych pojemnościach zawodność dysków mechnicznych zaczyna odgrywać ogromną rolę w przypadku tradycyjnych systemów RAID-owych.

Polecam do zapoznania się z linkami, które są poniżej:
https://community.spiceworks.com/topic/ ... -the-proof
http://www.zdnet.com/article/why-raid-5 ... g-in-2009/
http://storagegaga.com/4tb-disks-the-end-of-raid/

Systemy typu RAID nigdy nie były projektowane do tak dużych pojemności dyskowych.
Obecnie stosowanym rozwiązaniem jest zastąpienie systemów RAID przez wykorzystanie kodów ażurowych (w wielkim skrócie to rozproszony RAID po sieci na bloku danych nie na całym dysku).

Obecnie przy tak dużych pojemnościach dysków jedynym sensownym, bezpiecznym i stosunkowo tanim sposobem jest wykorzystanie rozproszonych systemów plików jak np. Ceph http://ceph.com/

Ceph jest to kompleksowe rozwiązanie, które w swoich mozliwościach ma funkcję bezpośredniego podawania obiektów po HTTP/HTTPS (funkcjonalność odpowiadająca Amazon S3) czyli po instalacji nie trzeba używać dodatkowego proxy. Obiekty mogą być w bezpięczny sposób (wbudowane wsparcie dla uwierzytelniania oraz autoryzacji) udostępniane zasobów na podstawie zdefniniowanych reguł ACL.

Opis kodów ażurowych:
http://docs.ceph.com/docs/master/rados/ ... sure-code/

Dodatkowy problem, o którym trzeba pamiętać jest potencjalny pad kontrolera RAID-owego. W przypadku padu kontrolera odczytanie danych jest niemalże niemożliwe ze względu na różnice w zapisie danych między producentami a nawet w ramach tego samego producenta. Dlatego najcześciej kupiuję się 2 sztuki kontrolerów aby w najgorszym przypadku tego typu dane mieć nawet jak odczytać.

Oczywiście to co napisałem to temat rzeka. Wybrałem kilka najbardziej palących problemów jakie mają systemy RAID-owe.

Wiekszość instalacji Ceph-a wykonuje się na więcej niż jednym serwerze ale w tym konkretnym przypadku, o którym jest mowa tym wątku można ją uruchomić na początku na jednym fizycznym serwerze. Oczywiście ma to szereg ograniczeń ale w każdy przypadku będzie deklasowało każdą dedykowaną macierze zapewniąć dużo wyższy poziom bezpieczeństwa (kody ażurowe) i większą pojemność RAW. Nie trzeba kupować żadnej dedykowanej macierzy tylko tani serwer (koniecznie z pamięcią ECC) z odpowiednią liczbą dysków. Nie trzeba żadnych kontolerów sprzętowych wystarczą zwykłe kontrolery SATA czyli odpada konieczność kupowania drogich kontrolerów i nie trzeba mieć nic na zapas (kontolery SATA mogą być dowolnego producenta). W przyszłości rozbudowana jest możliwa np o dysk (nie trzeba obsadzać każdego slotu dyskowego w serwrze) można to zrobić potem, można w przyszłości dodać nowy serwer, lub/i wymienić dyski na wieksze. Rekonfiguracja jest możliwa w pełni onlinenowo i nie wymaga żadnej przerwy Konfiguracja jest dowolna w przypadku sprzętowej macierzy takich możliwości po prostu nie ma.

W razie pytań chętnie służę pomocą.

pozdrawiam
j.witkowski
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
Jarosław_MłynikOffline
Temat postu:   PostWysłany: 26-05-2017 - 17:19
Członek PTG


Dołączył: 01-09-2015
Posty: 90

Status: Offline
Dzień dobry.

Kolokacja np. w NASK to koszt pomiędzy 320 PLN (2U, 5Mbps, 2x600W, umowa na 24 m-ce) do 450 PLN (2U, 10Mbps, 2x800W, umowa na 24 m-ce) + opłata na start 200PLN. Są to oczywiście ceny "biznesowe".

--
Pozdrawiam
Jarosław Młynik
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
Młochowski_JacekOffline
Temat postu:   PostWysłany: 04-04-2018 - 10:22
Zarząd PTG


Dołączył: 20-06-2006
Posty: 1689
Skąd: Radom
Status: Offline
Na początku października 2017 roku zwróciłem się do p. J. Młynika z propozycją uruchomienia i skonfigurowania dla PTG serwera backupowego dla zabezpieczenia zdjęć które wykonaliśmy w projekcie digitalizacji bądź pozyskaliśmy od innych podmiotów. Było to związane z koniecznością realizacji zadania na które zebraliśmy środki celowe w kwocie ponad 24.000 zł i do czego zobowiązywała nas uchwała WZ. Jednocześnie wróciliśmy do poszukiwania podmiotu, który zapewniłby nam kolokację serwera na korzystnych warunkach.

Propozycje sprzętowe zawarte w wątku o zbiórce na serwer a mianowicie 12 zatokowy NAS Synology RS2414+ lub 12 zatokowy QNAP TVS-1271U-RP już wtedy nie budziły entuzjazmu, jako rozwiązania zamknięte, oparte na dedykowanym do sprzętu oprogramowaniu. Potwierdziły to opinie informatyków datowane dwa lata później na przełomie 2017 i 2018 roku. Topowe modele serwerów NAS (w tym również QNAPa i SYnology) oparte są obecnie na macierzach softwareowych, unikając kontrolerów sprzętowych. Dodatkowo wykorzystywane są coraz nowsze technologie niedostępne dla rozwiązań typu wszystko w komplecie pasujące jedynie do siebie, bez możliwości modyfikacji. Dlatego rozpoczęliśmy poszukiwania innego rozwiązania, które byłoby na czasie i dawałoby możliwość migracji do rozwiązań które pojawią się w przyszłości.

W połowie listopada 2017 otrzymaliśmy wstępną propozycje kolokacji serwera (lub serwerów) w serwerowniach podstawowej i zapasowej CK UZ w Zielonej Górze na promocyjnych warunkach (ok. 200 PLN netto). Do szczegółowych uzgodnień musieliśmy podać konfigurację sprzętową ze względu na oszacowanie kosztu energii elektrycznej, więc sprawa pozostała otwarta i wrócimy do uzgodnień po zakupie serwera.
Na przełomie roku miały miejsce awarie naszego serwera dedykowanego, które uświadomiły nam dobitniej konieczność szybkiego unowocześnienia naszego serwera produkcyjnego, instalacji nowego środowiska i przeniesienia na nie naszych serwisów, które należy mocno odmłodzić, by mogły pracować na aktualnych wersjach PHP i MySQL. Nasze serwisy nie są bezpieczne. Dość łatwo byłoby dokonać na nie skutecznego ataku hackerskiego. Chroni je przede wszystkim nieatrakcyjność treści dla hackerów. Stało się jasne, że nie można dłużej liczyć na to, że wszystko będzie dobrze a generalny pad serwisów jest jedynie kwestią czasu.

Zakupiony serwer uruchomiony skonfigurowany i przetestowany zostanie dostarczony do kolokacji w Centrum Komputerowym. Opierając się na audycie naszych serwerów dedykowanych przez informatyków, którzy na bieżąco wdrażają nowoczesne i bezpieczne rozwiązanie dla firm, wypracowaliśmy bezpieczne, całościowe, skalowalne rozwiązanie (plan działania) budowy infrastruktury IT dla PTG umożliwiające migrację naszych serwisów do nowszego środowiska, jak również zawierającego w sobie przestrzeń do magazynowania naszego zbioru fotografii i skanów akt metrykalnych i innych dokumentów. Założyliśmy, że zbudujemy rozwiązanie oparte o dwa serwery, które najlepiej zabezpieczy nasze dane i umożliwi zastąpienie jednego serwera przez drugi w przypadku awarii jakiegoś komponentu. Zastąpi ono wynajęte dotychczas serwery dedykowane oferując większe możliwości. Zakup drugiej podobnej maszyny zaplanowaliśmy wstępnie na maj-czerwiec 2018.

Wypracowaną, pasującą do naszych potrzeb konfigurację sprzętową opartą o 12 zatokowy serwer Supermicro lub Intel o powierzchni dyskowej 80 TB w formie zapytania ofertowego wysłaliśmy do pięciu firm otrzymując od nich oferty cenowe. W dniu wczorajszym na zebraniu Zarządu przyjęliśmy uchwałę o wyborze najkorzystniejszej oferty i zakupie serwera Supermicro.
Specyfikacja bazowa Supermicro SuperServer 6028R-E1CR12 znajduje się na stronie producenta.
Dodatkowo jest on wyposażony w:

• 1xSSD: INTEL DC SSD S4500 480GB 2,5inch SATA 6Gb/s TLC 2
• 2xHDD: Seagate 3.5" 2TB SAS 12Gb/s 7.2K RPM 128MB Makara BP(512E)
• 8xHDD: Seagate 3.5”, 10TB, SATA 6Gb/s, 7.2K RPM, 256M, 512E, Performance (TATSU)
• Karta Sieciowa AOC-SGP-I2 - 2 porty LAN 1 Gb/s

Koszt serwera w rozszerzonej konfiguracji to 24 910,13 zł + VAT = 30 639,46 zł

_________________
Pozdrawiam serdecznie
Jacek Młochowski
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
Młochowski_JacekOffline
Temat postu:   PostWysłany: 30-04-2018 - 21:08
Zarząd PTG


Dołączył: 20-06-2006
Posty: 1689
Skąd: Radom
Status: Offline

_________________
Pozdrawiam serdecznie
Jacek Młochowski
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
Młochowski_JacekOffline
Temat postu:   PostWysłany: 30-04-2018 - 21:09
Zarząd PTG


Dołączył: 20-06-2006
Posty: 1689
Skąd: Radom
Status: Offline

_________________
Pozdrawiam serdecznie
Jacek Młochowski
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
Młochowski_JacekOffline
Temat postu:   PostWysłany: 15-06-2018 - 21:13
Zarząd PTG


Dołączył: 20-06-2006
Posty: 1689
Skąd: Radom
Status: Offline
W dniu 15 czerwca 2018 roku na ostatnim zebraniu Zarządu IV kadencji przyjęto ofertę firmy BizServer na dostawę drugiego serwera SuperMicro. Tym samym domknęliśmy kolejny etap budowy naszej infrastruktury. Wstrzymaliśmy się natomiast z decyzją o wyborze kolokacji z powodu konieczności dokonania dalszych uzgodnień.

_________________
Pozdrawiam serdecznie
Jacek Młochowski
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
rozek19Offline
Temat postu:   PostWysłany: 15-06-2018 - 23:21
Członek PTG


Dołączył: 16-11-2006
Posty: 73
Skąd: Brzeg
Status: Offline
Cieszę się, że dane dzięki Wam są bezpieczniejsze Smile

_________________
Maciej Róg „Rożek” (Rozek19)
http://genealogia.mrog.org/
https://genealodzy.opole.pl/
http://genealodzy.wroclaw.pl/
 
 Zobacz profil autora Wyślij prywatną wiadomość Odwiedź stronę autora MSN Messenger  
Odpowiedz z cytatem Powrót do góry
jasiek83Offline
Temat postu:   PostWysłany: 04-11-2018 - 11:44


Dołączył: 04-11-2018
Posty: 1

Status: Offline
Jestem tutaj nowy. Czytając informacje na temat przechowywania danych zaczynam odnosić wrażenie że nie macie Państwo problemu technicznego, a raczej problem z finansowaniem. Czy rozważaliście kiedyś wprowadzenie płatności za korzystanie z tego serwisu? Jestem przekonany, że jest ogromna ilość osób zza granicy, która posiadała przodków w Polsce i jest gotowa płacić $10 miesięcznie za korzystanie z tego serwisu.
 
 Zobacz profil autora Wyślij prywatną wiadomość  
Odpowiedz z cytatem Powrót do góry
Wyświetl posty z ostatnich:     
Skocz do:  
Wszystkie czasy w strefie CET (Europa)
Napisz nowy temat   Odpowiedz do tematu
Zobacz poprzedni temat Wersja gotowa do druku Zaloguj się, by sprawdzić wiadomości Zobacz następny temat
Powered by PNphpBB2 © 2003-2006 The PNphpBB Group
Credits
donate.jpg
Serwis Polskiego Towarzystwa Genealogicznego zawiera forum genealogiczne i bazy danych przydatne dla genealogów © 2006-2019 Polskie Towarzystwo Genealogiczne
kontakt:
Strona wygenerowana w czasie 0.067453 sekund(y)