Accounting e informes de slurm

Slurm consta de un sistema de accounting y reporting que permite a los administradores y a los usuarios tener información restropectiva sobre el uso que se ha hecho del sistema HPC.

Es importante saber que slurm cuenta con dos entidades necesarias para estas actividades:

• Account: Es la entidad propia de slurm que permite controlar el acceso y el uso a los recursos para un usuario o grupos de usuarios. Es interna de slurm y no tiene ninguna correspondencia con ningún directorio ni sistema de autenticación.
• User: Es la entidad que mapea el usuario de slurm al usuario propio de linux correspondiente a la cuenta de usuario, que estará definido en los servicios de directorio o de autenticación de linux.

Para entenderlo prácticamente podriamos pensar en que account se corresponde con nuestro grupo de investigación y que user es el usuario que cada uno de los miembros del grupo tiene en el HPC.

De esa forma un account puede tener varios usuarios, y también un usuario puede pertenecer a varios account. A la hora de contar los recursos del HPC empleados, podremos hacerlo por account, por user o por una combinación de ambos.

Sobre los account y los user se pueden generar informes de uso. Pondremos aquí solo algunos ejemplos que pueden ser de interés desde el punto de vista del usuario.

El comando para generar los informes es sreport y por defecto genera informes sobre lo sucedido en las últimas 24 horas. Si queremos especificar otro rango temporal debemos usar los argumentos Start y End, que admiten los siguientes formatos:

              HH:MM[:SS] [AM|PM]
              MMDD[YY] o MM/DD[/YY] o MM.DD[.YY]
              MM/DD[/YY]-HH:MM[:SS]
              YYYY-MM-DD[THH:MM[:SS]]

La información completa del comando sreport se encuentra ​aquí

Muestra los usuarios que más han consumido desde el 1 de enero de 2023

(base) [root@admin01 logs]$ sreport user topuser start=2023-01-01
--------------------------------------------------------------------------------
Top 10 Users 2023-01-01T00:00:00 - 2023-05-07T23:59:59 (10969200 secs)
Usage reported in CPU Minutes
--------------------------------------------------------------------------------
  Cluster     Login     Proper Name         Account     Used   Energy 
--------- --------- --------------- --------------- -------- -------- 
    linux     user1                              si    47072        0 
    linux     user2                              si    11179        0 

Como se ve ambos usuarios corresponden al mismo account. Used nos indica el tiempo de cómputo usado por dichos usuarios.

Muestra la distribución de trabajos en función del número de cpus

(base) [root@admin01 logs]$ sreport  job SizesByAccount start=2023-01-01 -t percent Format=account Grouping=5,9
--------------------------------------------------------------------------------
Job Sizes 2023-01-01T00:00:00 - 2023-05-07T23:59:59 (10969200 secs)
Time reported in Percentage of Total
--------------------------------------------------------------------------------
  Account      0-4 CPUs      5-8 CPUs     >= 9 CPUs % of cluster 
--------- ------------- ------------- ------------- ------------ 
     root        27.25%        72.75%         0.00%      100.00% 

Aquí vemos que el 27.25% han consumido menos de 5 cpus, y el resto entre 5 y 8. Cambiando los valores de Grouping podemos cambiar dichos umbrales.

Ver la utilización del cluster

(base) [root@admin01 logs]$ sreport cluster utilization Start=2023-01-01
--------------------------------------------------------------------------------
Cluster Utilization 2023-01-01T00:00:00 - 2023-05-07T23:59:59
Usage reported in CPU Minutes
--------------------------------------------------------------------------------
  Cluster Allocate      Down PLND Dow       Idle Reserved   Reported 
--------- -------- --------- -------- ---------- -------- ---------- 
    linux    58251   7135949        0   40486311    37291   47717802 

Este informe nos muestra el consumo en minutos en cada uno de los estados de nuestro cluster, los estados son:

• Allocate: Los que han usado nuestros trabajos.
• Down: Los que no se han podido usar porque determinados nodos estaban fuera de servicio o en mantenimiento.
• Idle: Los minutos que estaban disponibles pero no se han usado.
• Reserved: Los minutos que se han reservado para que determinado/s usuario/s ejecuten sus trabajos en un momento dado.
• Reported: El total de minutos de nuestro sistema.

Muestra una lista de trabajos pasados

Con el comando sacct es posible mostrar una lista de trabajos pasados y otra información no tan sumarizada como hace el sreport. Aquí tenemos un ejemplo de las primeras filas del listado de los trabajos del cluster desde el 1 de Enero de 2023:

(base) [root@admin01 logs]$ sacct -S2023-01-01 | head
       JobID    JobName  Partition    Account  AllocCPUS      State ExitCode 
------------ ---------- ---------- ---------- ---------- ---------- -------- 
3003_1            hello     normal         si          1  COMPLETED      0:0 
3003_1.batch      batch                    si          1  COMPLETED      0:0 
3003_1.0         python                    si          1  COMPLETED      0:0 
3003_2            hello     normal         si          1  COMPLETED      0:0 
3003_2.batch      batch                    si          1  COMPLETED      0:0 
3003_2.0         python                    si          1  COMPLETED      0:0 
3003_3            hello     normal         si          1  COMPLETED      0:0 
3003_3.batch      batch                    si          1  COMPLETED      0:0 

Si quisiéramos ver por ejemplo las cpus usadas por el trabajo con id 5000, usariamos este comando:

(base) [tonin@admin01 logs]$ sacct --jobs 5000 --allocations
       JobID    JobName  Partition    Account  AllocCPUS      State ExitCode 
------------ ---------- ---------- ---------- ---------- ---------- -------- 
5000         BioHub_Ba+     normal         si          5  COMPLETED      0:0 

Hay muchas posibilidades usando los argumentos del comando sacct que están explicados ​aquí