Changes between Version 6 and Version 7 of multi_step_task

Timestamp:

May 12, 2025, 2:40:37 PM (4 weeks ago)

Author:

i22balur

Comment:

--

multi_step_task

@@ -8 +8 @@
 En el segundo caso, es común que el usuario defina un solo trabajo de Slurm, que lanza un shell script con las tareas puestas de forma secuencial, pero al tratarse de un solo trabajo los requerimientos de memoria y cores se deben ajustar al máximo del conjunto de las tareas.
 
-Imagine un pipeline que consiste en los siguientes pasos con los siguientes requerimientos de cores y memoria y su tiempo total de ejecución:
+Imagine un ''pipeline'' que consiste en los siguientes pasos con los siguientes requerimientos de cores y memoria y su tiempo total de ejecución:
 
-- Adquisición de datos de diferentes orígenes. (1 core, 1Gb, 2 horas)
-- "Curado" de los datos (filtrado y preprocesamiento) (4 cores, 10Gb, 1 hora)
-- Análisis de los datos (10 cores, 4Gb, 1 hora)
-- Generación de resultados (1 core, 1Gb, 2 horas)
+- '''Adquisición de datos''' de diferentes orígenes. (1 core, 1Gb, 2 horas)
+- '''Curado de los datos''' (filtrado y preprocesamiento) (4 cores, 10Gb, 1 hora)
+- '''Análisis de los datos''' (10 cores, 4Gb, 1 hora)
+- '''Generación de resultados''' (1 core, 1Gb, 2 horas)
 
 Este pipeline tiene 2 pasos (1 y 4) que no son paralelizables y otros dos (2 y 3) que si lo son. Los paralelizables aún cuando tienen más necesidades computacionales, tardan menos al beneficiarse de la ejecución paralela.
 
-El problema es que el pipeline completo tarda 6 horas y si se lanza en un solo trabajo usando las especificaciones de cores y memoria máximos para el conjunto de tareas, se reservarían durante esas 6 horas 10 cores y 10 Gb de memoria, cuando dichas necesidades máximas solo se necesitan en un hora en cada caso. Esto se puede apreciar con el siguiente shell script:
+El problema es que el pipeline completo tarda 6 horas y si se lanza en un solo trabajo usando las especificaciones de cores y memoria máximos para el conjunto de tareas, se reservarían durante esas 6 horas 10 cores y 10 Gb de memoria, cuando dichas necesidades máximas solo se necesitan en un hora en cada caso. 
+
+El siguiente shell script presenta dicho problema. En el se utiliza el comando {{{stress}}} para simular una carga computacional:
 
 {{{#!bash