A mediados del 2023, Jordan Tigani, ex director técnico de un área importante de Google y fundador de DuckDB, escribió un controversial artículo titulado “El Big Data ha muerto”. Por “Big Data”, Tigani se refiere a un grupo de tecnologías que surgieron a principios de este siglo para el procesamiento de datos voluminosos y complejos, como alternativas a los clásicos motores de Bases de Datos. Por “muerte” se refiere a que en la actualidad esas tecnologías son innecesarias para la gran mayoría de los problemas de procesamiento de datos. Esto, debido a que si bien los volúmenes de datos han crecido en forma importante, los datos que realmente se procesan (“workloads”) son perfectamente abordables por las nuevas versiones mejoradas de los motores de Bases de Datos tradicionales.
Aunque el artículo de Tigani ha sido también criticado por extremar el punto, ciertamente plantea una situación incómoda: la industria TIC respondió a la moda del “Big Data” generando y promoviendo tecnologías que requieren arquitecturas de hardware y configuraciones complejas; curvas de aprendizaje costosas para decenas de nuevos lenguajes de programación; y técnicas de procesamiento de datos poco prácticas. El tiempo ha mostrado que el clásico lenguaje de datos SQL y el “Modelo “Relacional” (tablas y relaciones entre ellas) propuesto por Ted Codd en los años 70, tal vez en versiones mejoradas (“columnares” y “en-memoria”), siguen siendo herramientas claves para enfrentar la nueva ola de datos.
Muchas veces, la adopción de tecnologías TIC ha sido impulsada por ciclos de expectativas y modas que no apuntan a las necesidades más relevantes, sino a casos de borde. El caso de “Big Data” es sólo uno más de varios o muchos. Muchas inversiones cuantiosas en tecnología se han “ido al tacho” por esta causa y surgen interrogantes: ¿Cómo tomar buenas decisiones incorporando las tecnologías adecuadas para lograr objetivos y mejoras concretas? ¿Cómo navegar asertivamente sobre modas y tendencias tecnológicas?
Equivocarse en la selección o diseño de la tecnología para abordar un objetivo determinado es un riesgo común en procesos de innovación, pero ese riesgo se puede reducir tomando resguardos, algunos casi de sentido común: experimentación contínua en laboratorios y pilotos; vigilancia tecnológica (monitoreo continuo de lo que está pasando en materia tecnológica); aprendizaje y capacitación de los equipos; conocimiento de experiencias de terceros; modelos de crecimiento “elástico” como el propuesto por nubes; prácticas de dimensionamiento y evaluación del costo total de una decisión tecnológica; entre otras.
Por
Carlos Hurtado L.
PhD Computer Science.
Presidente Ejecutivo y Director de
Consultoría de Microsystem
Por Carlos Hurtado L.
Presidente Ejecutivo y Director de Consultoría de Microsystem
La IA, y en particular la IA Generativa, está generando, en forma acelerada, una cantidad enorme de aplicaciones que están transformando dramáticamente procesos y el trabajo de las personas en empresas y organizaciones.
Sin embargo, este tremendo impulso también viene acompañado de expectativas crecientes en la productividad real que se puede lograr. Una mala gestión de expectativas puede llevar a proyectos que fracasan prematuramente y una baja adopción de aplicaciones que tienen un potencial de producir beneficios importantes.
Nuestra experiencia de más de 10 años implantando proyectos de IA, nos dice que las expectativas se gestionan esencialmente objetivizando el impacto real de la tecnología a implantar. Lo fundamental aquí es medir y monitorear su desempeño y transparentar con los usuarios criterios de éxito logrables.
La medición de desempeño de herramientas de IA, en distintas dimensiones, es un área cada vez más crítica que se encuentra en una fase de desarrollo en la actualidad.
Por ejemplo, los nuevos agentes basados en IA generativa, desarrollados para responder sobre conocimiento especializado e interactuar en ámbitos con fines productivos, requieren ser medidos en aspectos críticos. Algunos de estos son la versatilidad para responder a distintas preguntas, completitud y correctitud de las respuestas, el nivel de alucinación (generación de información “fantasiosa”) y de toxicidad (información agresiva, sesgada, discriminatoria), entre otros. Otros, modelos de IA que operan en procesos críticos deben ser medidos rigurosamente en base a criterios como precisión y tasa de errores.
Distintas técnicas, algunas utilizando IA (IA para evaluar IA), se están desarrollando rápidamente, como respuesta a este desafío.
Los responsables de proyectos de IA deberían estar muy al tanto de estas técnicas para integrarlas en sus proyectos y así aumentar la adopción exitosa de las nuevas tecnologías.
Carlos Hurtado
Presidente Ejecutivo de Microsystem
Doctor en Ciencias de la Computación, Universidad de Toronto.
Por Carlos Hurtado L.
Presidente Ejecutivo y Director de Consultoría de Microsystem
El proyecto de ley sobre Protección de Datos Personales, que actualmente se encuentra en su tercer trámite legislativo, representa un desafío importante para todas las empresas e instituciones del país. La creación de una agencia dedicada a este fin refleja la importancia de abordar este tema con conciencia y anticipación.
La implementación de la ley de Protección de Datos Personales implica un cambio cultural en la empresa y la necesidad de rediseñar procesos internos. Esta transformación también brinda oportunidades, como aumentar la confianza de los clientes, mejorar la posición en negocios internacionales, acelerar la transformación digital y preparar los datos para los algoritmos de inteligencia artificial. Anticiparse a los cambios anteriormente descritos no sólo disminuirá los riesgos y multas, sino que también posicionará a las empresas en un escenario más favorable para enfrentar los desafíos del futuro digital.
La nueva ley establece un plazo de 24 meses para su entrada en vigencia y la magnitud de las transformaciones requeridas es significativa. En mi exposición realizada en un encuentro sobre Protección de datos personales: desafíos tecnológicos y de cumplimiento, expliqué a parte de nuestros clientes cinco tecnologías clave que las empresas necesitarán para implementar con éxito esta ley.
TECNOLOGÍAS CLAVE PARA EL CUMPLIMIENTO DE LA LEY DE PROTECCIÓN DE DATOS PERSONALES
1. Gestión de metadatos: La gestión de metadatos es esencial para cumplir con la ley de Protección de Datos Personales. Esto implica el manejo de información sobre qué datos se almacenan, quién tiene acceso a ellos, dónde se almacenan y por cuánto tiempo. Implementar una herramienta eficaz de gestión de metadatos es crucial para garantizar el cumplimiento normativo.
2. Seguridad de la información: La seguridad de la información es uno de los pilares fundamentales para la protección de datos. Tecnologías como el control de acceso, la gestión de bitácoras y monitoreos de acceso, encriptación, enmascaramiento y seudonimización tendrán un rol importante para el cumplimiento de la nueva normativa.
3. Gestión de casos: La nueva ley de Protección de Datos Personales conlleva el manejo de solicitudes asociadas a derechos sobre datos personales. La gestión eficiente de casos se vuelve imprescindible para coordinar y responder a estas solicitudes en tiempos adecuados.
4. Integración de datos: La integración de datos es clave para tener accesos unificados a la información. Esto puede lograrse a través de la implementación de lagos de datos, buses de datos o APIs de acceso en distintos sistemas. La integración vertical y horizontal permite unificar los sistemas de datos, centralizando la información del cliente y facilitando la respuesta a requerimientos normativos.
5. Gestión documental: Dado que gran parte de la información manejada por las empresas no es estructurada, la gestión documental se convierte en un componente esencial. La implementación de sistemas eficaces de gestión documental facilitará el cumplimiento de la ley para acceder, buscar, organizar y clasificar la información de manera adecuada.
En Microsystem podemos ayudar a las empresas a prepararse para la nueva ley de Protección de Datos Personales. Contamos con una amplia experiencia en el desarrollo de soluciones tecnológicas que cumplen con los más altos estándares de seguridad y privacidad.
Por Carlos Hurtado L.
Los modelos de Inteligencia Artificial (IA) utilizados por empresas y organizaciones generalmente, necesitan ser alimentados con datos propios y específicos para alcanzar la especialización y eficacia deseada.
El concepto de IA centrada en Datos propone que el mayor esfuerzo para el desarrollo de soluciones de IA efectivas, debe enfocarse en la mejora continua de los datos.
Esta idea ha sido enfatizada fuertemente por Andrew Ng, profesor de Stanford y cofundador de Coursera, quien ha señalado: «Veo numerosos proyectos de IA sobre datos cuya calidad impedirán que sean ejecutados exitosamente”.
La IA centrada en Datos requiere la aplicación sistemática de métodos y algoritmos destinados a elevar la calidad de los datos, eliminando errores, ruidos, inconsistencias, incompletitudes, sesgos y otros problemas.
En concreto, proyectos específicos de auditorías de datos, limpieza de datos, captura contínua de errores y modelación de datos, entre otros, pueden tener un alto impacto para una adopción efectiva de IA en una organización.
La práctica de IA centrada en Datos ha demostrado también que Bases de Datos relativamente pequeñas pero de alta calidad, pueden ser efectivas para el entrenamiento de modelos exitosos.