DIRAC
DIRAC, Distributed Infrastructure with Remote Agent Control, est un cadre logiciel pour créer des systèmes de calcul distribués. Il a été développé pour répondre aux besoins de l'expérience LHCb au CERN pour le traitement de ses données sur la grille de calcul. Maintenant le système offre une solution générale pour la gestion des tâches de calcul et des données distribuées. Il est léger, robuste et extensible, adaptable aux évolutions rapides de la grille. Il prend en compte des ressources hétérogènes ce que inclut les grilles de calcul, les clouds ou bien les grappes de processeurs indépendants. L'architecture modulaire de DIRAC permet l'adaptation facile des fonctionnalités aux nouveaux besoins des communautés des utilisateurs.
Les fonctionnalités principales de DIRAC sont :
- Gestion de productions MC (Monte Carlo), du traitement de données et de tâches d'analyse :
- Utilisation des jobs pilots - le concept introduit par DIRAC
- Gestion des politiques de la communauté des utilisateurs
- Agrégation des ressources hétérogènes de façon transparente pour les utilisateurs
- Système de récupération des échecs - Gestion de données :
- Opérations sur les fichiers et enregistrement dans les catalogues de répliques et de métadonnées
- Utilisation des catalogues standards grille (LFC, catalogue des fichiers d’une VO) ou de catalogue DIRAC performant avec la possibilité de définir les métadonnées d'utilisateurs. Plusieurs catalogues peuvent être utilisés simultanément
- Distribution automatique de données
- Contrôle d'intégrité de données
- Monitoring des ressources de stockage - Gestion de productions massives :
- Création et soumission automatiques de jobs pour le traitement de données selon des scénarios prédéfinis
DIRAC est une "solution de grille" générale et complète pour une ou plusieurs communauté d'utilisateurs.
- Service d'accounting de toutes les opérations
- Portail Web
- Journalisation des événements pour tous les composants de DIRAC
- Service pour la configuration de tous les composants de DIRAC
- Le cadre logiciel DIRAC respecte les standards de sécurité de la grille (DISET, DIRAC Secure Transport Extension)
- Soumission et monitorage des jobs, récupération des résultats
- Monitorage de tous les services de DIRAC
- Accès aux données d'accounting
DIRAC permet l'intégration de ressources hétérogènes ce qui donne une solution au problème d'interopérabilité entre différentes grilles de calcul, clouds et clusters locaux
Installation actuellement utilisée pour les formations EGI et potentiellement disponible comme instance de test pour d’autres organisations virtuelles.
Depuis mai 2012, un service mutualisé et multidisciplinaire de France Grilles est offert aux utilisateurs France Grilles sur la base de DIRAC. Une dizaine d'organisations virtuelles regroupant des utilisateurs utilisent ce service dont l'organisation virtuelle "nationale" de France Grilles.
L'équipe des administrateurs est distribuée sur plusieurs sites, des agréments entre les différents partenaires sont en cours de mise en place pour formaliser le fonctionnement du service.
Dans un contexte d'utilisation hors de l'expérience LHCb :
- documentation incomplète
- absence de liste de diffusion ou de discussion
- support limité
Commentaires
webinar DIRAC
Un "webinar" sera diffusé dans le cadre de EGI (www.egi.eu) le vendredi 22 mars à 10 heures :
https://indico.egi.eu/indico/conferenceDisplay.py?...
L'inscription est requise.
prix poster France Grilles
Lors des journées scientifiques mésocentres et France Grilles,
( http://mesogrilles2012.sciencesconf.org/ ) le comité scientifique dont vous pouvez voir la composition ici :
http://mesogrilles2012.sciencesconf.org/page/comit...
a remis le prix poster à :
Luisa Arrabito, David Bouvet, Sorina Camarasu-Pop, Yonny Cardenas, Nicolas Clémentin, Helene Cordier, Sophie Gallina, Jacques Garnier, Pierre Gay, Tristan Glatard, Vanessa Hamar, Claudia Lavalley, Gilles Mathieu, Matvey Sapunov, Rafael Ferreira da Silva, Andrei Tsaregorodtsev
pour le poster "Instance nationale et multi-communauté de DIRAC pour France Grilles" que vous pouvez consulter à :
http://mesogrilles2012.sciencesconf.org/file/18142
Ils ont aussi co-rédigé l'article connexe
http://mesogrilles2012.sciencesconf.org/8521/document
Le poster et l'article décrivent une implémentation mutualisée et de portée nationale de DIRAC. Un beau cas d'utilisation !
Bravo à eux !
réunion des utilisateurs et des développeurs DIRAC
La réunion des utilisateurs et des développeurs DIRAC aura lieu à
Marseille, CPPM, le 29-31 Octobre, 2012. Si vous compter à participer
a cet événement, l'enregistrement est ouvert sur le site de la réunion:
https://indico.in2p3.fr/conferenceDisplay.py?ovw=T...
La réunion a comme le but la rencontre entre les utilisateurs et les
développeurs de DIRAC pour partager l’expérience de l'utilisation et
définir le cahier de charge pour le futur du projet.