Difference: ProdukcjaLokalna ( vs. 1)

Revision 12009-06-08 - MariuszWitek

Line: 1 to 1
Added:
>
>
META TOPICPARENT name="WebHome"

Procesowanie duzych probek danych na BAL

  • Interfejs Ganga ma wbudowane wszystkie mechanizmy do masowej produkcji zarowno w srodowisku GRID jak i w tradycyjnym srodowisku klastra obliczeniowego (moze ktos sprobuje przetrzec te sciezke?). Mamy jednak do dyspozycji na naszym klastrze prosty skrypt ktory umozliwia automatyczny podzial zbiorow wejsciowych na grupy o zadanej liczbie zbiorow dst i wyslanie zadan do kolejki. Skrypt wraz z potrzebnymi zbiorami znajduje sie w katalogu ~lhcbsoft/split_jobs. Nalezy:
  • przygotowac dzialajacy program DaVinci
  • przekopiowac caly katalog split_jobs
cd 
cp -r ~lhcbsoft/split_jobs .
cd split_jobs
  • wyedytowac kilka pierwszych linijek zbioru subprod.csh: nazwa zbioru z danymi wejsciowymi, liczba zbiorow dst/zadanie, nazwa produkcji itp.
  • wyedytowac DaVinciBatch_template aby wersja DaVinci zgadzala sie z wersja przygotowanej aplikacji
  • wygenerowac skrypty do wyslania do kolejki (skrypty a pozniej output znajdzie sie w ~/split_productions/_nazwa_produkcji_
    • source subprod gen
  • wyslac zadania
    • source subprod sub

W poszczegolnych katalogach ~/split_productions/_nazwa_produkcji_/job_1 job_2 ... znajdziemy wyniki dzialania tak jakbysmy uruchamili zadanie interakcyjnie w tych katalogach. Na klastrze BAL mamy ok 700k przypadkow tzw bb stripped. jedno zadanie dla wszytkich zbiorow dst (jest ich ok 360) liczyloby sie kilkadziesiat godzin. Jezeli wyspecyfikujemy 20 zbiorow dst na zadanie to mamy szanse dostac wynik powiedzmy po ok 2 h na przy zalozeniu za kolejki sa niezapelnione.

-- MariuszWitek - 08 Jun 2009

 
This site is powered by the TWiki collaboration platform Powered by Perl This site is powered by the TWiki collaboration platformCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback