El 11 de abril de 2019, el mundo vio por primera vez la imagen de un agujero negro. La foto, aunque borrosa y de baja resolución (ya que el objeto se encuentra a 55 millones de años luz de nuestro planeta), estuvo en las portadas de todos los diarios. Tanto revuelo causó, que la prestigiosa revista Science catalogó la imagen como el logro científico más importante de 2019.
Pues bien, dicha imagen sólo fue posible gracias a que el equipo de científicos implicados utilizó DataOps para su procesamiento.
¿Qué es DataOps?
DataOps es un nuevo enfoque para la gestión de datos, fuertemente impulsado en la industria por compañías como Hitachi Vantara. Es una metodología que reúne a todos los participantes que manejan los datos, ya sea desarrolladores, ingenieros de datos, científicos de datos, analistas y/o usuarios de negocios; todo para ayudar a que las empresas tomen decisiones basadas en los datos correctos, en el lugar correcto, y en el momento correcto.
Andy Palmer, CEO y Fundador de Tamr, acuñó el término en 2015, y lo definió como “el marco de herramientas y cultura que permite a las organizaciones de ingeniería de datos entregarlos de forma rápida y completa a sus usuarios. DataOps es un término general que intenta unificar todos los roles y responsabilidades en el dominio de la ingeniería de datos, mediante la aplicación de técnicas de colaboración en equipo”.
Tras el éxito de DevOps, conjunto de prácticas que automatiza los procesos entre el desarrollo de software y los equipos de TI, para que puedan construir, probar y lanzar el software de forma más rápida y confiable, las compañías ahora se centran en DataOps; conectando estrechamente a las personas que recopilan y preparan los datos, los que los analizan, y los que utilizan los hallazgos de esos análisis para la gestión de los negocios. La idea es acelerar el proceso de convertir datos, en nuevas oportunidades de generar ingresos.
Y aunque DataOps aún es una idea relativamente nueva, se ha transformado en un concepto esencial en el mundo actual, donde los datos crecen en volumen y se vuelven más diversos, distribuidos y aislados que nunca. En este escenario, las compañías buscan DataOps para convertirse en referentes de la economía digital actual.
Entonces, ¿cómo construir una plataforma DataOps?
Más que una plataforma tecnológica, DataOps es un enfoque o una metodología, lo que significa reunir muchas tecnologías y prácticas de datos en un entorno integrado. Así los datos fluyen fácilmente a través de este sistema. En este flujo, tecnologías, procesos y personas son vitales para una conclusión efectiva.
Los cinco elementos de DataOps
La implementación de esta metodología implica cinco elementos esenciales, que van desde tecnologías hasta un cambio cultural completo.
– El primero son las tecnologías habilitadoras, como herramientas de automatización de TI, Gestión de Datos, Inteligencia Artificial y Machine Learning.
– El segundo elemento es una arquitectura adaptativa que admita innovaciones continuas en las principales tecnologías, servicios y procesos.
– El tercero es el enriquecimiento de sus datos, poniéndolos en un contexto útil para un análisis preciso. Esto significa metadatos inteligentes que el sistema vaya creando automáticamente.
– El cuarto es el uso en plenitud de la metodología DataOps para construir e implementar análisis y canalizaciones de datos, siguiendo una dinámica gestión de modelos y procesos.
– Finalmente, el quinto elemento de DataOps es el más importante, y el más difícil: la cultura y las personas. Para cumplir con el potencial de DataOps, se debe construir y alcanzar una cultura de colaboración entre las operaciones de TI y Cloud, Arquitectura e Ingeniería de Datos, y consumidores de éstos como analistas y científicos de datos.
“En un nivel alto, sólo entonces DataOps puede colocar los datos correctos, en el lugar preciso y en el momento adecuado, para responder a las demandas cambiantes de datos”, afirma Hu Yoshida, VP y Chief Technology Officer Global de Hitachi Vantara.
Algo que no se debe olvidar es revisar regularmente cada componente involucrado en el ciclo de DataOps, midiendo meticulosamente los procesos para continuar adaptándolos, mejorándolos, actualizándolos.
Sólo la excelencia en cada paso permitirá el avance hacia el siguiente nivel, la madurez digital y una verdadera innovación social de los ecosistemas que posibilitan el funcionamiento de las economías, en escenarios críticos de crisis y reconversión empresarial como el que hoy atravesamos.
