Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Programa del Curso
Introducción
- Descripción general de los desafíos de escalado del aprendizaje profundo
- Descripción general de DeepSpeed y sus características
- DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas
Empezar
- Configuración del entorno de desarrollo
- Instalación de PyTorch y DeepSpeed
- Configuración de DeepSpeed para el entrenamiento distribuido
Funciones de optimización de DeepSpeed
- Canalización de entrenamiento de DeepSpeed
- ZeRO (optimización de memoria)
- Puntos de control de activación
- Puntos de control de gradiente
- Paralelismo de canalizaciones
Escalado de modelos con DeepSpeed
- Escalado básico con DeepSpeed
- Técnicas avanzadas de escalado
- Consideraciones de rendimiento y procedimientos recomendados
- Técnicas de depuración y solución de problemas
Temas avanzados de DeepSpeed
- Técnicas avanzadas de optimización
- Uso de DeepSpeed con entrenamiento de precisión mixto
- DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
- DeepSpeed con múltiples nodos de entrenamiento
Integración de DeepSpeed con PyTorch
- Integración de DeepSpeed con los flujos de trabajo de PyTorch
- Uso de DeepSpeed con PyTorch Lightning
Solución de problemas
- Depuración de problemas comunes de DeepSpeed
- Monitoreo y registro
Resumen y próximos pasos
- Resumen de los conceptos y características clave
- Prácticas recomendadas para utilizar DeepSpeed en producción
- Más recursos para aprender más sobre DeepSpeed
Requerimientos
- Conocimiento intermedio de los principios del aprendizaje profundo
- Experiencia con PyTorch o marcos de aprendizaje profundo similares
- Familiaridad con Python programación
Audiencia
- Científicos de datos
- Ingenieros de aprendizaje automático
- Desarrolladores
21 Horas