La importancia de evaluar las soluciones de IA

Por Carlos Hurtado L.
Presidente Ejecutivo y Director de Consultoría de Microsystem

La IA, y en particular la IA Generativa, está generando, en forma acelerada, una cantidad enorme de aplicaciones que están transformando dramáticamente procesos y el trabajo de las personas en empresas y organizaciones.

Sin embargo, este tremendo impulso también viene acompañado de expectativas crecientes en la productividad real que se puede lograr. Una mala gestión de expectativas puede llevar a proyectos que fracasan prematuramente y una baja adopción de aplicaciones que tienen un potencial de producir beneficios importantes.

Nuestra experiencia de más de 10 años implantando proyectos de IA, nos dice que las expectativas se gestionan esencialmente objetivizando el impacto real de la tecnología a implantar. Lo fundamental aquí es medir y monitorear su desempeño y transparentar con los usuarios criterios de éxito logrables.

La medición de desempeño de herramientas de IA, en distintas dimensiones, es un área cada vez más crítica que se encuentra en una fase de desarrollo en la actualidad.

Por ejemplo, los nuevos agentes basados en IA generativa, desarrollados para responder sobre conocimiento especializado e interactuar en ámbitos con fines productivos, requieren ser medidos en aspectos críticos. Algunos de estos son la versatilidad para responder a distintas preguntas, completitud y correctitud de las respuestas, el nivel de alucinación (generación de información “fantasiosa”) y de toxicidad (información agresiva, sesgada, discriminatoria), entre otros. Otros, modelos de IA que operan en procesos críticos deben ser medidos rigurosamente en base a criterios como precisión y tasa de errores.

Distintas técnicas, algunas utilizando IA (IA para evaluar IA), se están desarrollando rápidamente, como respuesta a este desafío.

Los responsables de proyectos de IA deberían estar muy al tanto de estas técnicas para integrarlas en sus proyectos y así aumentar la adopción exitosa de las nuevas tecnologías.

Carlos Hurtado
Presidente Ejecutivo de Microsystem
Doctor en Ciencias de la Computación, Universidad de Toronto.