Artículo

Comprensión e implementación de flujos de trabajo de IA para una capacitación y una implementación óptimas

Autor: Brian Letort, Head of Data Office and Platform AI, Digital Realty

La inteligencia artificial (IA) tiene el potencial de revolucionar las operaciones comerciales y cambiar la trayectoria de la innovación en las industrias a nivel global.

Más del 75% del impacto anual total de la IA generativa se producirá específicamente en ventas, marketing, investigación y desarrollo de productos, ingeniería de software y operaciones con clientes. Pero estas oportunidades sólo podrán aprovecharse si la IA se ejecuta de manera cuidadosa y estratégica.

La implementación de la IA es un proceso estructurado, que requiere a los directivos IT comprender los nuevos requisitos tecnológicos, reconsiderar su estrategia de infraestructura actual y evaluar los sistemas existentes. Para que la IA tenga un verdadero impacto se debe construir una base que responda a las necesidades de desarrollo e implementación de los modelos de IA actuales y futuros.

Con esta finalidad, se deben considerar estratégicamente las etapas de los flujos de trabajo de IA. Estos flujos de trabajo implican tres formas independientes de trabajar con datos: agregación, entrenamiento e inferencia de datos. Las consideraciones incluyen cómo funciona cada uno y cuáles son los elementos clave requeridos para que funcionen sin problemas.

Tres etapas de los flujos de trabajo de IA y su impacto en la infraestructura IT

Etapa 1: agregación de datos

La IA es tan buena como los datos con los que se entrena. La agregación de datos comienza con un enfoque integral para recopilar, limpiar, organizar y almacenar datos para que se puedan usar en el entrenamiento e información de una aplicación de IA empresarial.

Para que esta etapa de preprocesamiento funcione según lo previsto, los directivos IT deberán seguir estas buenas prácticas:

Identificar fuentes de datos: las grandes organizaciones producen y recopilan una gran cantidad de datos, que incluyen datos sobre clientes o empleados, datos operativos y financieros, registros de red, búsquedas en intranet o sensores de IoT. Para que la IA conozca de forma inteligente la información y las respuestas sobre una organización, requiere una imagen completa del entorno de una organización. El primer paso será localizar dónde están esas fuentes de datos.
Reunir los datos en un sistema central: Los directivos IT necesitarán un sistema a través del cual puedan recopilar esos datos de sus distintas fuentes, bases de datos y terminales, recopilándolos en un nodo o repositorio centralizado. Esto podría consistir en adoptar un ERP o un data lake conectado a varias fuentes, como conexiones directas a bases de datos, interfaces de programación de aplicaciones (API) u otras fuentes.
Limpiar y organizar los datos: aunque los datos se hayan recopilado en un lugar centralizado, es posible que aún no tengan un formato uniforme y lleguen estructurados (específicos y uniformes de una base de datos), semiestructurados (organizados, pero no de acuerdo con la gobernanza), o no estructurados (tipos de datos variados). Los líderes IT deben implementar mejores prácticas para la limpieza de los datos, que incluyan ingresar los datos en formatos estandarizados y con convenciones de nomenclatura, escanear en busca de errores y eliminar datos obsoletos o duplicados. Este paso puede llevar mucho tiempo y ser costoso.
Establecer gobernanza de datos: Finalmente, se establecerá un proceso repetible que gobierne la gestión de datos, incluido cómo se protegerán y quién tendrá acceso a ellos. Esto garantiza que la calidad de la información se mantenga constante a lo largo del tiempo. Dado el tamaño de los datos recopilados, la mejor práctica es procesar los datos en el borde (edge) para mitigar los impactos de Data Gravity.

Etapa 2: entrenamiento

Aunque lo más probable es que las empresas solo utilicen modelos fundamentales que aumentarán con sus propios datos (en lugar de crear y entrenar sus propios modelos), es importante comprender esta etapa en el desarrollo de la IA.

Los conjuntos de datos organizados y limpios son precursores en el entrenamiento de un modelo de IA corporativa. Por lo general, una empresa utilizará un modelo fundamental, como el modelo GPT-4 de OpenAI, y luego lo entrenará o lo ajustará rápidamente con datos internos para que el conocimiento de la IA sea integral y específico del dominio. Este flujo de trabajo de capacitación puede producirse de esta forma:

Elige el modelo correcto: no todos los modelos de IA funcionan igual ni se adaptan a los datos específicos de una empresa. En primer lugar, los directivos IT deberían describir el uso específico para la adopción de la IA: ¿análisis de datos? ¿servicio al cliente? ¿eficiencia operacional? Esto los guiará a la hora de elegir la arquitectura, el algoritmo y los parámetros de IA adecuados para sus necesidades comerciales.
Comienza con una tarea: el siguiente paso será enseñar al modelo de IA a realizar una tarea específica, utilizando un conjunto de datos de entrenamiento de la etapa de agregación de datos. Esto permitirá que el modelo de IA comience a reconocer patrones y relaciones en los datos. A medida que comience a aprender, quienes entrenen el modelo de IA podrán ajustar sus parámetros para hacerlo más preciso y efectivo.
Prueba y evaluación: se continuará probando el modelo para fortalecer y profundizar su conocimiento. Comienza a ampliar las pruebas a conjuntos de datos adicionales y ve cómo se adapta y ajusta según sea necesario. Evalúa el desempeño durante todo el proceso de prueba para garantizar que funciona como se esperaba y que alcance la exactitud, la recuperación, la precisión y otras métricas de evaluación necesarias.
Valida el desempeño: ahora es el momento de evaluar el desempeño de la IA con un nuevo conjunto de datos de validación para ver cómo aprende. Es hora de ajustar los parámetros y preparar el modelo de IA para uso empresarial.

Etapa 3: Inferencia

Esta etapa será el momento de poner la IA a trabajar. El modelo de IA está listo para lanzarse en aplicaciones y casos de uso, donde utilizará sus capacidades de inferencia para hacer predicciones o decisiones sobre nuevos conjuntos de datos.

Sin embargo, no se puede implementar la IA y dejarla funcionar sin control. Habrá que establecer un proceso de validación continua para garantizar que el modelo de IA sea preciso y capaz de ofrecer resultados procesables y, especialmente, protegerse contra cualquier "alucinación" que pueda tener un impacto en el negocio. Este proceso de seguimiento de un algoritmo en producción se conoce comúnmente como observabilidad del modelo.

Por ejemplo, Harvard Business Review detalla cómo Morgan Stanley tiene "un conjunto de 400 'preguntas de oro'" cuyas respuestas se conocen y que utilizan como una prueba continua de precisión de la IA. Si hay algún cambio en la forma en que la IA responde a esas preguntas de oro, saben que necesitan volver a ajustar el modelo.

¿Cómo afrontar los desafíos del flujo de trabajo de IA?

En teoría, el proceso de implementación de la IA empresarial es fluido, desde la estrategia de datos hasta la capacitación y la implementación. Sin embargo, los directivos IT deben ser conscientes de los siguientes desafíos:

Mala calidad de los datos: la IA es tan buena como los datos con los que se entrena, y los datos que no están estructurados ni formateados, o incluso la falta de datos de toda la organización, no permitirán que el modelo de IA aprenda o funcione según sea necesario. Según el Índice global de adopción de IA 2023 de IBM, “demasiada complejidad de datos” es la segunda barrera más grande para la adopción exitosa de la IA. Por ello, es importante tomar medidas para implementar primero un plan de gestión de datos, como se describió anteriormente.
Falta de hardware: ejecutar la IA de manera rápida y eficiente requiere hardware computacional que pueda hacer frente a los requisitos, y la falta del mismo afectará el rendimiento y la velocidad. El hardware de computación de alto rendimiento (HPC) es lo que puede satisfacer las necesidades de IA corporativa (particularmente en la etapa de inferencia sensible a la latencia) al impulsar entornos de simulación y modelado a través del procesamiento paralelo. También ocupa una fracción del espacio que ocupa el hardware tradicional.
Infraestructura débil: además del hardware, la IA necesita infraestructura adecuada para soportarla. Esto incluye contar la densidad de potencia adecuada, que para la IA puede ser de cinco a diez veces mayor que la de otros sistemas gestionados por infraestructura tradicional. Con este aumento de la potencia de computación, los flujos de trabajo de IA requerirán además refrigeración especializada para el centro de datos.
Costos crecientes: las inversiones en IA pueden ser muy costosas, tanto en el desarrollo como en la infraestructura IT y el hardware esencial. Una forma de hacer que la IA sea más rentable es garantizar que las implementaciones y proyectos de IA se alineen con los objetivos comerciales y que los casos de uso de la IA beneficien el crecimiento y el impacto de la organización. Las pruebas de concepto se utilizan a menudo para demostrar un valor cuantificable antes de embarcarse en un proyecto.
Operaciones IT complejas: los flujos de trabajo de IA requieren muchas consideraciones operativas IT nuevas, incluido un enfoque estratégico para la gestión de datos y la interconectividad, un compromiso de tiempo para la capacitación y el hardware e infraestructura acordes. También incluye un enfoque estratégico para la gestión de equipos y garantizar que haya experiencia en el personal para gestionar nuevas implementaciones de IA, especialmente cuando, según el informe de IBM anterior, "las habilidades, la experiencia o el conocimiento limitados de la IA" son el mayor problema para la adopción exitosa de la IA.

¿Cómo construir las bases de la IA empresarial?

Hoy en día existe una enorme oportunidad para la IA empresarial, cuyo éxito dependerá de su implementación.

Comienza con la creación de un programa estratégico de agregación de datos para recopilar, procesar y almacenar datos de manera eficiente.

Luego, se utilizarán esos datos para entrenar el modelo de IA y que se familiarice con el conocimiento, los patrones y las relaciones estadísticas de dominios específicos.

Por último, habrá que asegurarse de que exista un plan para evaluar el rendimiento y realizar un seguimiento de las métricas después de la implementación y el uso de la IA en el mundo real.

Estas tres etapas de los flujos de trabajo de IA proporcionan la base sobre la cual las empresas desarrollarán la innovación.

¿Quieres conocer cómo implementar con éxito la IA para llevar a tu empresa al futuro? Descarga hoy "IA para líderes IT: despliegue de una infraestructura IT a prueba de futuro".