¿Ha muerto el “Big Data”?
A mediados del 2023, Jordan Tigani, ex director técnico de un área importante de Google y fundador de DuckDB, escribió un controversial artículo titulado “El Big Data ha muerto”. Por “Big Data”, Tigani se refiere a un grupo de tecnologías que surgieron a principios de este siglo para el procesamiento de datos voluminosos y complejos, como alternativas a los clásicos motores de Bases de Datos. Por “muerte” se refiere a que en la actualidad esas tecnologías son innecesarias para la gran mayoría de los problemas de procesamiento de datos. Esto, debido a que si bien los volúmenes de datos han crecido en forma importante, los datos que realmente se procesan (“workloads”) son perfectamente abordables por las nuevas versiones mejoradas de los motores de Bases de Datos tradicionales.
Aunque el artículo de Tigani ha sido también criticado por extremar el punto, ciertamente plantea una situación incómoda: la industria TIC respondió a la moda del “Big Data” generando y promoviendo tecnologías que requieren arquitecturas de hardware y configuraciones complejas; curvas de aprendizaje costosas para decenas de nuevos lenguajes de programación; y técnicas de procesamiento de datos poco prácticas. El tiempo ha mostrado que el clásico lenguaje de datos SQL y el “Modelo “Relacional” (tablas y relaciones entre ellas) propuesto por Ted Codd en los años 70, tal vez en versiones mejoradas (“columnares” y “en-memoria”), siguen siendo herramientas claves para enfrentar la nueva ola de datos.
Muchas veces, la adopción de tecnologías TIC ha sido impulsada por ciclos de expectativas y modas que no apuntan a las necesidades más relevantes, sino a casos de borde. El caso de “Big Data” es sólo uno más de varios o muchos. Muchas inversiones cuantiosas en tecnología se han “ido al tacho” por esta causa y surgen interrogantes: ¿Cómo tomar buenas decisiones incorporando las tecnologías adecuadas para lograr objetivos y mejoras concretas? ¿Cómo navegar asertivamente sobre modas y tendencias tecnológicas?
Equivocarse en la selección o diseño de la tecnología para abordar un objetivo determinado es un riesgo común en procesos de innovación, pero ese riesgo se puede reducir tomando resguardos, algunos casi de sentido común: experimentación contínua en laboratorios y pilotos; vigilancia tecnológica (monitoreo continuo de lo que está pasando en materia tecnológica); aprendizaje y capacitación de los equipos; conocimiento de experiencias de terceros; modelos de crecimiento “elástico” como el propuesto por nubes; prácticas de dimensionamiento y evaluación del costo total de una decisión tecnológica; entre otras.
Por
Carlos Hurtado L.
PhD Computer Science.
Presidente Ejecutivo y Director de
Consultoría de Microsystem