Advantech impulsa la adopción de LLM con GenAI Studio para Edge AI SDK

Advantech ha lanzado GenAI Studio para Edge AI SDK, su nueva oferta de software con la que responde al aumento de demanda de soluciones de modelos de lenguaje de gran tamaño (LLM) locales y rentables. Su objetivo es democratizar la adopción de LLM para desarrolladores y pequeñas y medianas empresas al reducir la dependencia de las GPU, lo que disminuye los costes y permite un mayor uso de las tecnologías de IA generativa.
 

Con esta solución, la compañía aborda problemas de la industria, como la reducción de los tiempos de espera de los operarios en fábrica para obtener información crítica y aligerar la carga de trabajo documental de los profesionales de la salud. Su plataforma sin código y eficiente agiliza la adopción de LLM, lo que permite a las empresas desplegar soluciones de IA de forma rápida y eficaz, y mejorar así la productividad y la eficiencia operativa.

Diseñado para Edge AI SDK de Advantech, GenAI Studio aprovecha una plataforma LLM versátil con capacidades excepcionales de integración para LLM, tanto locales como en la nube, incluidos OpenAI, Gemini, Anthropic y Ollama. También introduce la funcionalidad de ajuste fino de todos los parámetros, optimizada para entornos con recursos de GPU limitados, lo que permite una mayor accesibilidad y mejoras en el rendimiento.
 

GenAI Studio ofrece un completo conjunto de herramientas para el desarrollo de LLM:

• Servicios integrados de ajuste fino y de inferencia: GenAI Studio combina las capacidades de ajuste fino e inferencia para maximizar el uso del hardware, lo que permite una asignación más flexible y eficiente de los recursos.
• Gestión avanzada de recursos de GPU y programación de tareas: Estas características permiten a los usuarios optimizar el rendimiento del hardware de IA, lo que mejora la rentabilidad del equipamiento de alto valor.

La rápida expansión de la IA ha puesto de manifiesto la necesidad de soluciones LLM accesibles. Sin embargo, muchas empresas están limitadas debido a la escasez de recursos. Edge AI SDK de Advantech aborda este desafío al ofrecer un conjunto de herramientas destinadas a evaluar, desarrollar y desplegar aplicaciones de Edge AI de forma eficiente. Por ejemplo, el ajuste fino de un LLM de 70 000 millones de parámetros, que suele requerir más de 30 GPU con 48 GB de memoria cada una, se puede lograr con solo 4 GPU gracias a Edge AI SDK de Advantech. Esto representa una reducción del 87 % en los requisitos de recursos, lo que disminuye drásticamente los costos y hace que las soluciones LLM sean más accesibles.

Plataforma de hardware

Para complementar GenAI Studio, el servidor Edge AI AIR-520 de Advantech proporciona una robusta plataforma de hardware equipada con GPUs NVIDIA RTX y SSDs Phison AI. Esta integración ofrece capacidades de computación fiables y de alta eficiencia diseñadas para dar respuesta a las demandas de las aplicaciones de IA en sectores como la fabricación, la atención sanitaria y el comercio minorista.

Edge AI SDK de Advantech es una plataforma completamente integrada, diseñada para el desarrollo fluido de inteligencia artificial en la periferia. Gracias al hardware preconfigurado y su software optimizado, ofrece una experiencia plug-and-play que permite la personalización eficiente de LLM, una compatibilidad sin fisuras con las herramientas de desarrollo, así como la gestión sin esfuerzo de los despliegues a gran escala en la periferia. Diseñada con la fiabilidad, la escalabilidad y la facilidad de uso en mente, esta plataforma simplifica el camino hacia la innovación en IA.

Ahora incluye tres componentes principales:

• GenAI Studio: Facilita la creación, evaluación e integración eficientes de LLM personalizados de forma local.
• Kit de inferencia: Permite la optimización y evaluación rápidas de tiempos de ejecución eficientes de IA compatibles con sistemas operativos integrados.
• Plataforma de orquestación: Proporciona una gestión eficiente de las actualizaciones de aplicaciones y modelos de IA en grandes despliegues en la periferia, con la integración de MLOps para ofrecer operaciones más ágiles.

La compañía mejora la capacidad de las empresas para desarrollar y desplegar soluciones de IA de manera más eficiente y rentable a través de Edge AI SDK y el módulo de software GenAI Studio de reciente incorporación.