Cómo configurar un cluster transitorio usando GNU Parallel y SSHFS para trabajos distribuidos (tales como FFmpeg)[ING]
181 visitas
| votos: 3 · 0
| karma: 33
| 0
GNU Parallel es un programa polivalente para ejecutar comandos en paralelo, que frecuentemente sustituye bucles en los scripts find -exec, y find | xargs. Tiene las opciones --sshlogin y --sshloginfile para usar múltiples nodos, y opciones para enviar y recibir recursos estáticos y archivos de entrada y salida para cada trabajo. Sin embargo, para una tarea en concreto seguir los archivos que necesita en un remoto es laborioso. Es más, ejecuciones canceladas o fallidas pueden dejar basura en el nodo remoto.