Difference: PSNC ( vs. 1)

Revision 12013-03-01 - AndrzejOlszewski

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="CyfronetWeb"

Zasady pracy w PSNC

Szanowni Użytkownicy,

W związku z problemami dot. okresowych spadków wydajności działania
klastrów obliczeniowych, które występowały w ostatnim czasie i były
związane z intensywnym wykorzystywaniem systemów dyskowych, chcielibyśmy przekazać Państwu kilka najważniejszych informacji dot. zasad dostępu do plików.

Ponieważ zasoby dyskowe są zasobem współdzielonym, bardzo ważne jest,
aby wszyscy użytkownicy stosowali się do podanych poniżej zasad i nie
utrudniali sobie nawzajem pracy.

Do dyspozycji mają Państwo następujące systemy dyskowe:

1. Katalog domowy (HOME).
a. przeznaczenie: długoterminowe przechowywanie ważnych plików
(programów, skryptów, danych wejściowych, ostatecznych wyników obliczeń,
itp.)
b. widoczność: oddzielny HOME dla każdego systemu obliczeniowego z
możliwością przechodzenia pomiędzy katalogami w ramach jednego systemu
('cd /home/users/$USER/NAZWA_MASZYNY', ten sam HOME dla wszystkich
węzłów obliczeniowych w ramach danego systemu (zmienna systemowa do
wykorzystania w skryptach: $HOME)
c. bezpieczeństwo: PCSS wykonuje kopie zapasową (backup)
d. OPERACJE NIEDOZWOLONE:
- zapisywanie w HOME danych tymczasowych (np. z obliczeń)
- wielokrotny, intensywny odczyt/zapis danych wejściowych/wyjściowych w
ramach zadania obliczeniowego (należy wykorzystać katalog tymczasowy i
ew. po zakończeniu obliczeń skopiować wynik do HOME)

2. Katalog tymczasowy współdzielony Lustre:
a. przeznaczenie: przechowywanie plików tymczasowych podczas obliczeń
(tzw. scrach), przechowywanie danych wejściowych/wyjściowych do których
prowadzony jest intensywny dostęp (odczyt/zapis) podczas obliczeń
b. widoczność: oddzielny katalog dla każdego systemu obliczeniowego.
W ramach każdego z systemów 1 katalog współdzielony pomiędzy wszystkimi
węzłami ('/tmp/lustre_shared' - należy założyć w nim podkatalog o nazwie użytkownika) oraz odzielny katalog dla każdego z węzłów ('/tmp/lustre').
Wybóru katalogu tymczasowego w którym odbywać będą się obliczenia
dokonujemy ustawiając zmienną $TMPDIR w skrypcie zadania.
c. bezpieczeństwo: brak kopii zapasowej (backupu) i brak gwarancji
długoterminowego przechowywania plików: pliki nieużywane przez okres
dłuższy niż 3 miesiące są automatycznie usuwane
d. OPERACJE NIEDOZWOLONE:
- wykorzystywanie katalogu '/tmp/lustre_shared' do obliczeń, które nie
wymagają współdzielonego katalogu tymczasowego
e. inne:
- brak Lustre na systemie guarana

3. Katalog tymczasowy lokalny (dysk):
a. przeznaczenie: j.w. (2.) przy czym nalezy brać pod uwagę ograniczenia w lokalnej przestrzeni dyskowej (60GB inula, 120-444GB reef - w zależności od typu węzła, 3TB chimera, 1.1TB guarana, 68GB sherwood)
b. widoczność: oddzielny, fizyczny dysk na każdym węźle obliczeniowym
c. bezpieczeństwo: j.w. (2.) bez gwarancji 3-miesięcznego przechowywania plików


Inne uwagi:
- na wszystkich wymienionych systemach dyskowych obowiązuje ZAKAZ przechowywanie plików niezwiązanych bezpośrednio z obliczeniami (np. dokumentów, zdjęć, video, itp.), ponadto prosimy o nieużywanie w nazwach plików polskich znaków

- Gaussian: użytkownicy reef proszeni są o zapoznanie się z poleceniami
'G09 --help' i 'G03 --help', na pozostałych maszynach należy dokonać
indywidualnych ustawień

- w trosce o komfort pracy pozostałych użytkowników, zadania korzystające z systemów plików w sposób niezgodny z powyższymi zasadami będziemy zmuszeni usuwać a konta użytkowników blokować do czasu wyjaśnienia i poprawienia skryptów zadań


Z poważaniem,

-administratorzy KDM 

-- AndrzejOlszewski - 2013-03-01

 
This site is powered by the TWiki collaboration platform Powered by Perl This site is powered by the TWiki collaboration platformCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback