Prueba de rendimiento de backup de NEWMAIL a disco

[tonin]

Para ver la posibilidad de hacer este backup por agente en lugar de con NDMP.

[tonin]

Creo temporalmente el servidor cifs cifsvnx unido al dominio UCO, creo un FS temporal llamado pruebacifs en los discos SASNL con 1.5TB, activo el servidor cifs.

Creo un nuevo dispositivo de sistema de archivos en arcserve y le asigno esta unidad de red.

[tonin]

Actualmente los backups de NEWMAIL1 y NEWMAIL2 dan una tasa de unos 190Mb/min, NEWMAIL por NDMP da unos 670Mb/min.

Con la ventana de backup que tenemos, entre 50 y 60 horas, necesitariamos tasas de backup de entre 440Mb/min mínimo a 540Mb/min máximo para la ocupación actual.

[tonin]

PRUEBA1

Se montan los 3 FS en hpsrv09 con las opciones por defecto. Lanzamos primero el backup de NEWMAIL consiguiendo una tasa de 550Mb/min. A continuación lanzamos en paralelo las otras 2 que obtienen tasas en torno a 400Mb/min cada una, bajando NEWMAIL a 440Mb/min con tendencia a la baja.

Si detenemos una de las 2 sesiones de NEWMAIL1 o NEWMAIL2, se interrumpe la tendencia a la baja de NEWMAIL pero da la sensación de que no llegará más allá de 450Mb/min.

Este escenario sería real pues en paralelo sobre los mismos discos que es el factor limitante no se realizarían más de 2 sesiones simultáneas, una por cada uno de los servidores imap que tenemos. NEWMAIL2 y NEWMAIL3 de forma seriada con esas tasas entrarían perfectamente en la ventana, NEWMAIL andaría bastante justo.

[tonin]

PRUEBA2

Igual que el anterior, pero montando los 3 FS en imap2 con las opciones de montaje que usamos ahora para los homes de imap (noatime, tamaño de bloque, etc).

El montaje lop hacemos por la pata privada (nfsivnx) para evitar el paso por el router.

Se lanza solo NEWMAIL y NEWMAIL1 durante 30-40min para que llegue a su punto de estabilidad en la velocidad.

Pues el asunto es penoso .... tras 45 minutos saco menos de 290Mb/min para NEWMAIL y 548Mb/min para NEWMAIL1. Este último tendría cierta logica, ha entrado solo en competencia con 1 sesión y no con 2, con lo que ha subido de 400 a 500, pero lo de NEWMAIL no tiene ni pies ni cabeza.

El kernel de hpsrv09 es un 2.4.21 y el de imap2 un 2.6.18 ...

De momento voy a probar quitando las opciones de montaje que le he puesto.... Tras 50 minutos, sin opciones de montaje da los mismos resultado: 554Mb/min para NEWMAIL1 y 278Mb/min para NEWMAIL. Voy a probar otra vez desde hpsrv09 ...

[tonin]

PRUEBA3

Definitivamente nfs va mejor desde hpsrv09 que desde imap2. Las tasas de transferencia tras 2 horas son 400 Mb/min para NEWMAIL y 543 Mb/min para NEWMAIL1 realizándose ambos simultaneamente. un 35% más de rendimiento para NEWMAIL.

Algo raro tiene que tener el nfs del servidor imap2, a menos que haya otro factor que se nos escape.

[tonin]

PRUEBA4

Tengo una corazonada. Se trata de organizar newmail de forma que en el directorio principal no se encuentren todos los ficheros correspondientes a todos los usuarios, sino un subdirectorio por cada letra del alfabeto, y a partir de ahí dentro de él los usuarios que comienzan por esa letra.

Esto con la nueva NAS se puede hacer creando un checkpoint escribible de NEWMAIL, para poder reorganizar sin alterar el contenido de NEWMAIL. Lo he llamado NEWMAILRW.

Monto este FS en hpsrv09 y creo en el directorios de la "a" a la "z", moviendo los directorios que empiezan por esa letra a ellos, y lanzo simultaneamente las tareas de backup de NEWMAILRW y NEWMAIL1. Dentro de un rato sabremos el resultado.

[tonin]

Tras mas de 2 horas los resultados son de 440 Mb/min para NEWMAILRW y 500 Mb/min para NEWMAIL1, eso si, la velocidad la cogió desde el primer momento, ya que cuando realiza el backup con la estructura plana comienza con tasas de 90 Mb/min solo.

Sospecho que dejándolo terminar la tasa sería mejor de esta forma jerárquica, pues da la sensación que al entrar al principio en directorios con menos de mil ficheros (como el que empieza por a), va más rápido, seguramente al entrar en directorios con más de 2000 ficheros la tasa no varie tanto.

Al menos una de las recomendaciones que da todo el mundo para organizar FS con millones de ficheros pequeños es dividirlos de esta forma. Parece que las operaciones con metadatos son menos gravosas así.

[tonin]

PRUEBA5

Igual que el anterior pero desde imap2 en lugar de hpsrv09. El comienzo no es nada prometedor, consiguiendo en NEWMAIL tasas ridículas de 16 Mb/min, mientras que en NEWMAIL1 las tasas iniciales son de cerca de 1000 Mb/min .... Parece que los imap le tienen manía a este FS ...

[tonin]

Bueno, el problema era el export que estaba exportado como root para imap2 a secas y no para imap2.priv.uco.es, por ello daba error de permisos al entrar en los directorios de todos los usuarios. Ahora ha comenzado mejor la cosa, a unos 300 Mb/min iniciales mientras que se está haciendo NEWMAIL1 paralelamente.

[tonin]

Tras poco más de 1 hora los resultados son 473 Mb/min para NEWMAIL1 y 497 para NEWMAIL.

[tonin]

PRUEBA6

Para cerciorarme, repito la prueba 2 cerciorándome que he exportado correctamente el FS para imap2.priv.uco.es. Le pongo las opciones de montaje que le tenemos puestos a los homes de imap, aparte de montarlos como "ro" por si montarlo rw pudiera ocasionar algún problema al ser el FS en la nas de solo lectura.

El principio para NEWMAIL ahora que no tiene una estructura jerárquica es penoso de nuevo, de 50 Mb/min, seguramente irá creciendo. NEWMAIL1 si ha empezado fuerte a cerca de 1000 Mb/min,

[tonin]

OJO

Me acabo de dar cuenta que el cliente de ARcserve en hpsrv09, que va mejor es más antiguo (Arcserve 11.0 build 1537)mientras que el de imap2 es el de arcserve 11.5 build 2157. Puede tener relación o no, habría que mirar también las opciones de configuración como están puestas en ambos.

[tonin]

Pues vuelvo a obtener tras 1 hora de backup una tasa de 290 Mb/min para NEWMAIL y 543 Mb/min para NEWMAIL1, las mismas tasas que obtuve con las opciones de montaje que usamos, peores que los 400 Mb/min que obtuve sin ellas, y bastante peores que el FS jerárquico.

Habrá que investigar cual de las opciones es la que ocasiona esa pérdida de rendimiento, o montarlo directamente sin opciones.

[tonin]

PRUEBA7

Por sugerencia de Javier y para evitar el paso por el router, reconfiguramos la red en el servidor de backup, quitando el teaming y colocando un interfaz en la vlan10 y otro en la vlan16.

Tras mas de 2 horas de backup desde imap2.priv obtenemos 350 Mb/min para NEWMAIL y 505 Mb/min para NEWMAIL1, aun peor que desde hpsrv09, aunque no tan acusado como antes.

[tonin]

PRUEBA 8

Con la nueva reestructuración de niveles de 2 letras.

• Tras 1 hora: 470 Mb/min para NEWMAIL y 700 Mb/min para NEWMAIL1
• Tras 2 horas: 446 Mb/min para NEWMAIL y 580 Mb/min para NEWMAIL1