Por Chris Kleban, Gerente de Producto, Cloud GPUs

La GPU T4 de NVIDIA, ahora disponible en regiones de todo el mundo, acelera una variedad de cargas de trabajo en la nube, que incluyen computación de alto rendimiento (HPC), capacitación e inferencia de aprendizaje automático, análisis de datos y gráficos.

En enero anunciamos la disponibilidad de la GPU NVIDIA T4 en versión beta. El fin es ayudar a los clientes a ejecutar las cargas de trabajo de inferencia más rápido y a un costo menor.

A principios de este mes, en Google Next '19, anunciamos la disponibilidad general de NVIDIA T4 en ocho regiones, lo que convierte a Google Cloud en el primer proveedor importante en ofrecerlo a nivel mundial.

Enfoque en la velocidad y la rentabilidad

Cada GPU T4 tiene 16 GB de memoria GPU integrada, ofrece un rango de soporte de precisión, o tipo de datos, (FP32, FP16, INT8 e INT4); e incluye NVIDIA Tensor Cores para un entrenamiento más rápido y aceleración de hardware RTX para un trazado de rayos más rápido.

Los clientes pueden crear configuraciones personalizadas de VM que mejor satisfagan sus necesidades con hasta cuatro GPU T4, 96 vCPU, 624 GB de memoria de host; y opcionalmente, hasta 3 TB de SSD local en el servidor.

Al momento de la publicación, los precios de T4 son tan bajos como $ 0.29 por hora por GPU en instancias de VM preferibles. Las instancias bajo demanda comienzan en $ 0.95 por hora por GPU, con hasta un 30% de descuento con descuentos de uso sostenido.

Corazones tensoriales tanto para entrenamiento como para inferencia

La arquitectura Turing de NVIDIA trae la segunda generación de Tensor Cores a la GPU T4. Debutando en NVIDIA V100 (también disponible en Google Cloud Platform), Tensor Cores soporta precisión mixta para acelerar las operaciones de multiplicación de matrices que son tan frecuentes en las cargas de trabajo de ML.

Si su carga de trabajo de entrenamiento no utiliza completamente el V100 más potente, el T4 ofrece los beneficios de aceleración de los núcleos tensoriales, pero a un precio menor.

Esto es ideal para grandes cargas de trabajo de capacitación, especialmente a medida que aumenta la escala de recursos para entrenar más rápido o para entrenar modelos más grandes.

Beneficios renovados

Los núcleos tensoriales también aceleran la inferencia o las predicciones generadas por los modelos ML, para baja latencia o alto rendimiento. Cuando los núcleos tensoriales están habilitados con precisión mixta, las GPU T4 en GCP pueden acelerar la inferencia en ResNet-50 10 veces más rápido con TensorRT; en comparación con la ejecución solo en FP32.

Teniendo en cuenta su disponibilidad global y la red de alta velocidad de Google, el NVIDIA T4 en GCP puede servir de manera efectiva a los servicios globales que requieren una ejecución rápida a un precio eficiente. Por ejemplo, Snap Inc. usa NVIDIA T4 para crear algoritmos más efectivos para su base de usuarios global, mientras mantiene los costos bajos.

"Las GPU basadas en NVIDIA T4 para la inferencia en GCP nos permitirán aumentar la eficacia de la publicidad. Al mismo tiempo, ayudarán a reducir los costos en comparación con una implementación solo para CPU", destacó Nima Khajehnouri, Directora Senior, Monetización, Snap Inc.

Los algoritmos de monetización de Snap tienen el mayor impacto para nuestros anunciantes y accionistas

Utilizando nuestras imágenes de Deep Learning VM, puede ponerse en marcha rápidamente entrenando modelos ML y sirviendo cargas de trabajo de inferencia en las GPU NVIDIA T4 .

Estos incluyen todo el software que necesitará: controladores, bibliotecas de AI de CUDA-X y marcos de trabajo de AI populares como TensorFlow y PyTorch.

Manejamos las actualizaciones de software, la compatibilidad y las optimizaciones de rendimiento, por lo que no tiene que hacerlo. Cree una nueva instancia de Compute Engine, seleccione su imagen y haga clic en Inicio. Unos minutos más tarde, acceda a su instancia habilitada para T4.

También puede comenzar con nuestra plataforma AI, un entorno de desarrollo de extremo a extremo que ayuda a desarrolladores de ML y científicos de datos; a crear, compartir y ejecutar aplicaciones de aprendizaje automático en cualquier lugar. Una vez que esté listo, puede usar la precisión mixta automática para acelerar su carga de trabajo a través de Tensor Cores con solo unas pocas líneas de código.

Rendimiento a escala

Las GPU NVIDIA T4 ofrecen valor para el HPC de cómputo por lotes y la representación de las cargas de trabajo, brindando un rendimiento y una eficiencia dramáticos que maximizan la utilidad de las implementaciones a gran escala. Un investigador de neurociencia de la Universidad de Princeton dijo esto sobre el precio y el rendimiento únicos de la T4:

Estamos entusiasmados de asociarnos con Google Cloud en un logro histórico para la neurociencia

"La reconstrucción del conectoma de un milímetro cúbico de neocortex. Es emocionante manejar miles de GPU T4 con el motor Kubernetes. "Estos recursos computacionales nos permiten rastrear 5 km de cableado neuronal e identificar mil millones de sinapsis dentro del pequeño volumen", manifestó Sebastian Seung, de la Universidad de Princeton.

Estaciones de trabajo virtuales Quadro en GCP

Las GPU T4 también son una excelente opción para ejecutar estaciones de trabajo virtuales para ingenieros y profesionales creativos. Con las estaciones de trabajo virtuales NVIDIA Quadro del mercado de GCP, los usuarios pueden ejecutar aplicaciones creadas en la plataforma NVIDIA RTX para experimentar la próxima generación de gráficos para computadora, incluido el rastreo de rayos en tiempo real y el procesamiento de imágenes, video e imágenes mejorados por IA, desde cualquier lugar.

“El acceso a la estación de trabajo virtual NVIDIA Quadro en la plataforma Google Cloud permitirá a muchos de nuestros clientes implementar el software de Autodesk rápidamente, desde cualquier lugar", destacó Eric Bourque, Gerente sénior de desarrollo de software, Autodesk.

Y sumó: "Para ciertos flujos de trabajo, los clientes que aprovechan la tecnología NVIDIA T4 y RTX verán una gran diferencia cuando se trata de renderizar escenas y crear simulaciones y modelos 3D realistas".

Estamos entusiasmados de seguir colaborando con NVIDIA y Google para aumentar la eficiencia y la velocidad de los flujos de trabajo de los artistas

Fuente: Google Cloud Blog