Los cinco retos claves del big data según Teradata

La articulación de los datos multi-estructurados, el desafío de las analíticas interactivas, el "ruido" en los datos, la gran inversión que requiere "encontrar una aguja en un pajar" y cuál es la verdadera utilidad del big data son los cinco asuntos que según Teradatacentrarán el desarrollo de este paradigma de gestión de la información.

"Los datos que se han ido almacenando en data warehouses y aplicaciones business intelligence durante las tres últimas décadas están orientados a dejar constancia de lo ocurrido... No siempre se puede decir lo mismo de las nuevas fuentes de big data, cuyo social data y machine log data se caracteriza por su volatilidad: un modelo de información que puede cambiar continuamente", comenta Martin Willcox, director de Producto y Soluciones de Marketing de Teradata Corporation, en relación a la necesidad de una articulación de los datos para su uso diferente a la que se había hecho hasta ahora: "El big data hace que el enfoque tradicional para integrar datos no sea productivo, ya que requiere que se aplique un esquema rígido e inflexible a los datos a medida que pasan a formar parte de un entorno de análisis”, destacando que hoy, por sobre de todo, prima la flexibilidad.

En relación a las analíticas interactivas, también ha de cambiar el enfoque tecnológico para las consultas: "Las interacciones, tanto entre personas y cosas, personas y personas o cosas y cosas, describen redes o gráficos. Muchos análisis de interacciones se caracterizan por operaciones en las que el orden de registro es importante. Sin embargo, la cronología, la trayectoria y el gráfico dan problemas a consecuencia del estándar SQL, ya que este está basado en un modelo relacional en las que el orden de registro no tiene importancia". En este sentido, desde Teradata apuntan a que las soluciones propuestas hasta la fecha, a través de la utilización de funciones como User Defined Functions (UDF) u Order Analytical OLAP, son solo "parches" que necesitarán una nueva interpretación más avanzada.

El reto de los datos con ruido, grandes volúmenes de información con datos inservibles o no aprovechables, es el tercero de los asuntos planteados: "Las empresas tienen que capturar volúmenes de datos cada vez más grandes en los que la porción útil está acompaña por un volumen aún mayor de datos que suponen ruido para la mayor parte de las compañías". Esta realidad dificultaría la búsqueda de modelos rentables de almacenamiento y procesamiento de esta información. En este sentido, el mercado abriría grandes oportunidades para perfiles de "data scientists".

Ligado a este desafío, está la paradoja del tiempo y dinero invertido para obtener algo de verdadera utilidad a partir de grandes volúmenes de datos: "Los enfoques tradicionales de integración de datos suelen dar problemas con la captura de datos multi-estructurados", comenta el experto, añadiendo que se ha estimado "que los costes de adquisición, normalización e integración de datos representan hasta el 70% del coste total de implementar una base de datos analítica".

En relación al reto de "ir más allá y cuál es el valor de la entrega", según Teradata, numerosos proveedores y analistas siguen afirmando que el objetivo de un proyecto de big data es aumentar los conocimientos empresariales, "sin embargo, esto no es del todo cierto, ya que el objetivo final siempre será utilizar la información para cambiar el negocio y así impulsar el retorno de la inversión".