Changes between Initial Version and Version 1 of single_threaded_task

Timestamp:

May 8, 2023, 8:51:23 AM (2 years ago)

Author:

tonin

Comment:

--

single_threaded_task

@@ +1 @@
+== Trabajo de una tarea single threaded con N repeticiones variando un argumento ==
+Es un caso muy habitual, donde un programa que tiene un solo hilo de ejecución y por tanto necesita un solo core, se tiene que lanzar N veces variando los argumentos. 
+{{{
+#!/bin/bash
+#SBATCH --job-name=sample_multi
+#SBATCH --array=0-36
+#SBATCH --partition=normal
+#SBATCH --output=/home/someuser/gbs_project/prueba_GVCF/logs//gbs_VC_%A_%a.out
+#SBATCH --ntasks=1
+#SBATCH --nodes=1
+#SBATCH --cpus-per-task=1
+#SBATCH --mem-per-cpu=12G
+#SBATCH --time=0-12:00
+
+
+mapfile -t FILE_ARRAY < file_list.tmp.txt
+ref='/home/someuser/sample_multi/raw_data/reference_genome/some_genome.fa'
+file=${FILE_ARRAY[ $SLURM_ARRAY_TASK_ID ]}
+sample=$(basename $file | cut -d'.' -f 1)
+gatk HaplotypeCaller -ERC GVCF -R $ref -O /home/someuser/sample_multi/prueba_GVCF/${sample}.g.vcf -I $file
+echo 
+echo Finished this sub-task!
+}}}
+
+El script define el nombre del trabajo y la partición. Define un {{{array}}} que variará de 0 a 36 y se utilizará como argumento para el nombre de los ficheros de salida (%a) y el fichero de entrada (file) mediante la variable {{{$SLURM_ARRAY_TASK_ID}}}. 
+
+El resto de los parámetros propios de SBATCH fijan los requerimientos de nuestro programa. Cada iteración será una tarea que se ejecutará en 1 nodo requiriendo una sola cpu (core) por tarea, y un máximo de 12 gigaBytes de memoria. El parámetro {{{--time}}} fija el tiempo máximo de ejecución, 0 días y 12 horas en este caso.
+
+El tiempo de ejecución se usa para que de una parte no rebase al iniciarse el máximo definido en la partición (si lo rebasara se quedaría en estado PENDING), y que una vez en ejecución no rebase este tiempo (si lo hiciera se autocancelaría). Es interesante porque evita que se ejecuten indefinidamente por ejemplo algoritmos que mediante iteraciones requieran determinada convergencia a un resultado que nunca se alcance.
+
+El resto de líneas corresponden a las instrucciones en sí del trabajo, que lógicamente dependerán de lo que se quiera hacer. En la sección [Variables de slurm] se describen las variables de slurm que podremos usar como argumentos en esta parte de nuestro script.