Resumen de Hierarchical control of the Atlas experiment.

Alejandro Barriuso Poy

• English

  Hierarchical Control of the ATLAS experiment Àlex Barriuso Poy Els sistemes de control emprats en nous experiments de física daltes energies són cada dia més complexos a conseqüència de la mida, volum dinformació i complexitat inherent a la instrumentació del detectors. En concret, aquest fet resulta visible en el cas de lexperiment ATLAS (A Toroidal LHC ApparatuS) situat dins del nou accelerador de partícules LHC (Large Hadron Collider) al CERN. ATLAS és el detector de partícules més gran mai construït fruit duna col·laboració internacional on participen més de 150 instituts i laboratoris darreu del món. Lexperiment estudia col·lisions protó-protó i, seguint lestructura clàssica dun detector de partícules, es composa duna sèrie de sub-detectors especialitzats i dun sistema dimants superconductors que confereixen camp magnètic a lexperiment.

  Concernent loperació de ATLAS, existeixen dos sistemes integradors principals. Per una banda, el sistema DAQ (Data AdQuisition) realitza ladquisició de dades per els conseqüents estudis de física. Per altra banda, el DCS (Detector Control System) sencarrega d assegurar la coherent operació de tot lexperiment. Tot i ser dos sistemes independents, ambdós es complementen. Mentre un gestiona les dades utilitzades per als consegüents estudis de física, laltre gestiona tota la infrastructura relacionada amb lestat operacional del detector assegurant així la correcta extracció de informació.

  El DCS, principal argument daquesta tesi, supervisa tot el hardware dins al complex de lexperiment incloent tots els serveis dels sub-detectors (ex. alta i baixa tensió, refrigeració, etc.) i la infrastructura general de lexperiment (ex. condicions ambientals). El DCS també és la interfície amb els sistemes externs a lexperiment com per exemple els serveis tècnics CERN (ex. ventilació o electricitat) o, encara més crucial, amb laccelerador LHC o el DAQ de ATLAS. En total, al voltant de 200.000 canals dinformació seran supervisats en tot moment per el DCS.

  Un dels principals problemes existents en anteriors experiments era la manca destandardització en moltes àrees. Per exemple, degut a lescenari tècnic de lèpoca, els sistemes de control a lera LEP (1989-2000) utilitzaven diferents llenguatges de programació, diferents protocols de comunicació i hardware fet a mida. Com a conseqüència, el desenvolupament i manteniment del DCS era en molts casos una tasca difícil. Amb la intenció de solventar els problemes del passat, el projecte JCOP va ser creat al CERN a finals de 1997. Els diferents sub-detectors de ATLAS (així com dels 3 altres principals experiments del LHC) estan composats de múltiples equips de persones treballant en paral·lel. Lobjectiu principal del JCOP és treballar en comú per reduir duplicitat i, al mateix temps, facilitar la integració i futur manteniment dels experiments. Daquesta manera, components sovint utilitzats per al control de plantes industrials com PLCs, fieldbuses, el protocol OPC o SCADA han estat instaurats i són utilitzats amb èxit als experiments. Al mateix temps, el JCOP combina els productes comercials existents amb elements hardware i software específicament creats per al seu ús dins el món del control dexperiments de física daltes energies. Aquest és el cas del software anomenat FSM (Finite State Machine).

  El modelatge i integració dels molts dispositius distribuïts que coexisteixen al DCS es realitza utilitzant la FSM. Daquesta manera, el control sestableix mitjançant entitats software distribuïdes, autònomes i cooperatives que són organitzades jeràrquicament i segueixen una lògica de màquines finites destats. Leina FSM combina dues tecnologies principals: SMI++ (State Manager Interface toolkit) i un producte SCADA comercial. SMI++ (escrit en C++) ja ha estat utilitzat amb èxit en dos experiments de física daltes energies anteriors a ATLAS proveint la següent funcionalitat: un llenguatge orientat a objectes, una lògica de màquina finita destats, un sistema expert basat en regles, i un protocol de comunicació independent de la plataforma utilitzada. Aquesta funcionalitat saplica doncs a tots els nivells doperació/abstracció de lexperiment (ex. des duna vàlvula dun sistema de refrigeració fins a tot ATLAS). Així i, basant-se en regles establertes i acurades inter-connexions que organitzen els objectes jeràrquicament, sassoleix lautomatització global de lexperiment.

  Aquesta tesi presenta la integració del ATLAS DCS dins una jerarquia de control seguint la segmentació natural de lexperiment en sub-detectors i sub-sistemes. La integració final dels molts sistemes que formen el DCS a ATLAS inclou tasques com: lorganització del software de control, la identificació de models dels processos, lautomatització de processos, la detecció derrors, la sincronització amb DAQ, i la interfície amb lusuari.

  Tot i que lexperiència adquirida al passat amb la utilització de SMI++ és bon punt de partença per al disseny de la jerarquia de control de ATLAS, nous requisits han aparegut degut a la complexitat i mida de lexperiment. Així, lescalabilitat de leina ha estat estudiada per afrontar el fet de què la jerarquia de control final a ATLAS serà centenars de cops més gran que cap dels dos antecedents existents. Una solució comú per a tots els sistemes que formen el DCS ha estat creada amb el principal objectiu dassolir una certa homogeneïtat entre les diferents parts. Així, una arquitectura basada en 3 nivells funcionals organitza els sistemes pertanyents als 12 sub-detectors de lexperiment. Seguint aquesta arquitectura, les diferents funcions i parts del DCS han estat modelades amb una granularitat similar entre sub-detectors, la qual cosa, ens ha portat a lobtenció de jerarquies de control isomorfes.

  La detecció, monitorització i diagnòstic derrors és una part essencial per loperació i coordinació de tasques de qualsevol experiment de física daltes energies o planta industrial. La presència derrors al sistema distorsiona loperació i pot invalidar els càlculs realitzats per a la recerca de física. Per aquest motiu, una estratègia estàndard i una interfície estàndard amb lusuari han estat definides donant èmfasi a la ràpida detecció, monitorització i diagnòstic dels errors basant-se en un mecanisme dinàmic de tractament derrors. Aquests nou mecanisme es basa en la creació de dos camins de comunicació (o jerarquies paral·leles) que, al mateix temps que tracten els errors, donen una descripció més clara de les condicions doperació de lexperiment. Així, un dels camins de comunicació està poblat per objectes dedicats a la detecció i anàlisi dels errors, mentre a laltre, els objectes comanden loperació de lexperiment. Aquests dos camins paral·lels cooperen i contenen la lògica que descriu lautomatització de processos al DCS. Així, els diferents objectes segueixen unes màquines finites de estats preestablertes per ATLAS que faciliten la comprensió i futur desenvolupament del DCS. A més, el fet de què lestratègia proposada agrupi i resumi els errors duna forma jeràrquica, facilita notablement lanàlisi daquests errors en un sistema de la mida dATLAS. Lestratègia proposada, modular i distribuïda, ha estat validada mitjançant nombrosos tests. El resultat ha estat una substancial millora en la funcionalitat mantenint, al mateix temps, una correcta gestió dels recursos existents. Aquesta estratègia ha estat implementada amb èxit i constitueix lestàndard emprat a ATLAS per a la creació de la jerarquia de control.

  Durant loperació de lexperiment, el DCS sha de sincronitzar amb els sistema DAQ a càrrec del procés de presa de dades per als conseqüents estudis de física. Lautomatització de processos dambdós sistemes, DAQ i DCS, segueixen una lògica similar basada en una jerarquia de màquines finites destats (similituds i diferències han estat identificades i presentades). Tot i això, la interacció entre els dos principals sistemes integradors de ATLAS ha estat fins el moment limitada, però aproximant-se a linici doperacions, esdevé cada dia més important. Així, un mecanisme de sincronització que estableix connexions entre els diferents segments dels sistema DAQ i la jerarquia de control del DCS ha estat desenvolupat. La solució adoptada insereix automàticament objectes SMI++ dins la jerarquia de control del DCS. Aquests objectes permeten a les aplicacions del DAQ comandar diferents seccions del DCS duna forma independent i transparent. Al mateix temps, el mecanisme no permet prendre dades per física quan una part del detector funciona duna forma incorrecta evitant així lextracció dinformació corrupta mentre lexperiment torna a un estat segur. Un prototip que assoleix la sincronització dels dos sistemes ha estat implementat i validat, i ja està llest per a ésser utilitzat durant la integració dels sub-detectors.

  Finalment, la interfície situada a la sala de control entre el DCS i lusuari ha estat implementada. Daquesta manera, es completa la integració de les diferents parts del DCS. Els principals reptes solventats durant les fases de disseny i desenvolupament de la interfície han estat: permetre a loperador controlar un procés de la mida de ATLAS, permetre la integració i manteniment dels molts diferents displays doperador que pertanyen als diferents sub-detectors i, donar la possibilitat a loperador de navegar ràpidament entre les diferents parts del DCS. Aquestes qüestions han estat solventades combinant la funcionalitat del sistema SCADA amb la eina FSM. La jerarquia de control es utilitzada per la interfície per estructurar duna forma intuïtiva els diferent displays que formen el DCS. Llavors, tenint en compte que cada node de la jerarquia representa una porció susceptible de ser controlada independentment, hem assignat a cada node un display que conté la informació del seu nivell dabstracció dins la jerarquia. Tota la funcionalitat representada dins la jerarquia de control és accessible dins els displays SCADA mitjançant dispositius gràfics especialment implementats. Utilitzant aquest dispositius gràfics, per una banda possibilitem que els diferents displays sassimilin en la seva forma, i així, facilitem la comprensió i utilització de la interfície per part del usuari. Per altra banda, els estats, transicions i accions que han estat definits per els objectes SMI++ són fàcilment visibles dins la interfície. Daquesta manera, en cas de una possible evolució del DCS, el desenvolupament necessari per adequar la interfície es redueix notablement. A més, un mecanisme de navegació ha estat desenvolupat dins la interfície fent accessible a loperador ràpidament qualsevol sistema dins la jerarquia. La jerarquia paral·lela dedicada al tractament derrors també és utilitzada dins la interfície per filtrar errors i accedir als sistemes en problemes de una manera eficient. La interfície és suficientment modular i flexible, permet ésser utilitzada en nous escenaris doperació, resol les necessitats de diferents tipus dusuaris i facilita el manteniment durant la llarga vida de lexperiment que es preveu fins a 20 anys. La consola està sent utilitzada des de ja fa uns mesos i actualment totes les jerarquies dels sub-detectors estan sent integrades.

• English

  Hierarchical Control of the ATLAS experiment Àlex Barriuso Poy Control systems at High Energy Physics (HEP) experiments are becoming increasingly complex mainly due to the size, complexity and data volume associated to the front-end instrumentation. In particular, this becomes visible for the ATLAS experiment at the LHC accelerator at CERN. ATLAS will be the largest particle detector ever built, result of an international collaboration of more than 150 institutes. The experiment is composed of 9 different specialized sub-detectors that perform different tasks and have different requirements for operation. The system in charge of the safe and coherent operation of the whole experiment is called Detector Control System (DCS).

  This thesis presents the integration of the ATLAS DCS into a global control tree following the natural segmentation of the experiment into sub-detectors and smaller sub-systems. The integration of the many different systems composing the DCS includes issues such as: back-end organization, process model identification, fault detection, synchronization with external systems, automation of processes and supervisory control.

  Distributed control modeling is applied to the widely distributed devices that coexist in ATLAS. Thus, control is achieved by means of many distributed, autonomous and co-operative entities that are hierarchically organized and follow a finite-state machine logic.

  The key to integration of these systems lies in the so called Finite State Machine tool (FSM), which is based on two main enabling technologies: a SCADA product, and the State Manager Interface (SMI++) toolkit. The SMI++ toolkit has been already used with success in two previous HEP experiments providing functionality such as: an object-oriented language, a finite-state machine logic, an interface to develop expert systems, and a platform-independent communication protocol. This functionality is then used at all levels of the experiment operation process, ranging from the overall supervision down to device integration, enabling the overall sequencing and automation of the experiment.

  Although the experience gained in the past is an important input for the design of the detector's control hierarchy, further requirements arose due to the complexity and size of ATLAS. In total, around 200.000 channels will be supervised by the DCS and the final control tree will be hundreds of times bigger than any of the antecedents. Thus, in order to apply a hierarchical control model to the ATLAS DCS, a common approach has been proposed to ensure homogeneity between the large-scale distributed software ensembles of sub-detectors. A standard architecture and a human interface have been defined with emphasis on the early detection, monitoring and diagnosis of faults based on a dynamic fault-data mechanism. This mechanism relies on two parallel communication paths that manage the faults while providing a clear description of the detector conditions. The DCS information is split and handled by different types of SMI++ objects; whilst one path of objects manages the operational mode of the system, the other is dedicated to handle eventual faults. The proposed strategy has been validated through many different tests with positive results in both functionality and performance. This strategy has been successfully implemented and constitutes the ATLAS standard to build the global control tree.

  During the operation of the experiment, the DCS, responsible for the detector operation, must be synchronized with the data acquisition system which is in charge of the physics data taking process. The interaction between both systems has so far been limited, but becomes increasingly important as the detector nears completion. A prototype implementation, ready to be used during the sub-detector integration, has achieved data reconciliation by mapping the different segments of the data acquisition system into the DCS control tree. The adopted solution allows the data acquisition control applications to command different DCS sections independently and prevents incorrect physics data taking caused by a failure in a detector part.

  Finally, the human-machine interface presents and controls the DCS data in the ATLAS control room. The main challenges faced during the design and development phases were: how to support the operator in controlling this large system, how to maintain integration across many displays, and how to provide an effective navigation. These issues have been solved by combining the functionalities provided by both, the SCADA product and the FSM tool. The control hierarchy provides an intuitive structure for the organization of many different displays that are needed for the visualization of the experiment conditions. Each node in the tree represents a workspace that contains the functional information associated with its abstraction level within the hierarchy. By means of an effective navigation, any workspace of the control tree is accessible by the operator or detector expert within a common human interface layout. The interface is modular and flexible enough to be accommodated to new operational scenarios, fulfil the necessities of the different kind of users and facilitate the maintenance during the long lifetime of the detector of up to 20 years. The interface is in use since several months, and the sub-detector's control hierarchies, together with their associated displays, are currently being integrated into the common human-machine interface.