Changes between Version 1 and Version 2 of multi_step_task

Timestamp:

May 12, 2025, 1:59:11 PM (4 weeks ago)

Author:

i22balur

Comment:

--

multi_step_task

@@ -17 +17 @@
 Este pipeline tiene 2 pasos (1 y 4) que no son paralelizables y otros dos (2 y 3) que si lo son. Los paralelizables aún cuando tienen más necesidades computacionales, tardan menos al beneficiarse de la ejecución paralela.
 
-El problema es que el pipeline completo tarda 6 horas y si se lanza en un solo trabajo usando las especificaciones de cores y memoria máximos para el conjunto de tareas, se reservarían durante esas 6 horas 10 cores y 10 Gb de memoria, cuando dichas necesidades máximas solo se necesitan en un hora en cada caso.
-
-Esto evidentemente provoca un uso no óptimo de los recursos del HPC, impidiendo que otros trabajos puedan ejecutarse cuando realmente hay recursos ociosos.
-
-Frente a esto, se puede usar una estrategia de separar las tareas en un único trabajo usando diferentes especificaciones. Supongamos el siguiente shell script:
-
-{{{#!bash
-#!/bin/bash
-srun --job-name=adquisicion --mem=1G --partition=fast --cpus-per-task=10 stress --cpu 1 --timeout 120
-srun --job-name=curado --mem=10G --partition=fast --cpus-per-task=2 stress --cpu 4 --timeout 60
-srun --job-name=analisis --mem=4G --partition=fast --cpus-per-task=5 stress --cpu 10 --timeout 60
-srun --job-name=resultados --mem=1G --partition=fast --cpus-per-task=5 stress --cpu 1 --timeout 120
-}}}
-
+El problema es que el pipeline completo tarda 6 horas y si se lanza en un solo trabajo usando las especificaciones de cores y memoria máximos para el conjunto de tareas, se reservarían durante esas 6 horas 10 cores y 10 Gb de memoria, cuando dichas necesidades máximas solo se necesitan en un hora en cada caso. Esto se puede apreciar con el siguiente shell script:
 
 {{{#!bash
@@ -40 +27 @@
 #SBATCH --output=pipeline.log
 
-stress --cpu 1 --timeout 120
-stress --cpu 4 --timeout 60
-stress --cpu 10 --timeout 60
-stress --cpu 1 --timeout 120
+stress --cpu 1 --vm 1 --vm-bytes 1G --timeout 120
+stress --cpu 4 --vm 1 --vm-bytes 10G --timeout 60
+stress --cpu 10 --vm 1 --vm-bytes 4G --timeout 60
+stress --cpu 1 --vm 1 --vm-bytes 1G --timeout 120
 }}}
 
+Al ejecutarlo con {{{sbatch}}} obtenemos una gráfica del uso de recursos frente a lo reservado como la siguiente:
+
+...
+
+Esto evidentemente provoca un uso no óptimo de los recursos del HPC, impidiendo que otros trabajos puedan ejecutarse cuando realmente hay recursos ociosos.
+
+Frente a esto, se puede usar una estrategia de separar las tareas en un único trabajo usando diferentes especificaciones. Supongamos el siguiente shell script:
+
+{{{#!bash
+#!/bin/bash
+srun --job-name=adquisicion --mem=1G --partition=fast --cpus-per-task=10 stress --cpu 1 --vm 1 --vm-bytes 1G --timeout 120
+srun --job-name=curado --mem=10G --partition=fast --cpus-per-task=2 stress --cpu 4 --vm 1 --vm-bytes 10G --timeout 60
+srun --job-name=analisis --mem=4G --partition=fast --cpus-per-task=5 stress --cpu 10 --vm 1 --vm-bytes 4G --timeout 60
+srun --job-name=resultados --mem=1G --partition=fast --cpus-per-task=5 stress --cpu 1 --vm 1 --vm-bytes 1G --timeout 120
+}}}
+
+Al ejecutarlo con {{{nohup ./<script> &}}} obtenemos un mayor aprovechamiento de los recursos tal y como se muestra en las siguientes imagenes:
+
+...