¿Qué es Data Fabric? Explorando una tecnología emergente

Los tejidos de datos son un nuevo tipo de red basado en un concepto de diseño muy familiar.

Si no has oído hablar del concepto de «Data Fabric«, lo harás: la tendencia está creciendo rápidamente. Se prevé que el mercado de tejido de datos crecerá a 4.5 mil millones para 2026, debido al crecimiento de la nube a hiperescala.

Los tejidos de datos están surgiendo como un enfoque para ayudar a las organizaciones a lidiar mejor con los volúmenes de datos en rápido crecimiento, los requisitos de aplicaciones en constante cambio y los escenarios de procesamiento distribuido.

Durante años, las empresas han luchado por integrar todos sus datos en una única plataforma escalable. Una estructura de datos simplemente describe una forma integral de lograr ese objetivo. En este post aprendemos más sobre qué es Data Fabric, para qué sirve y por qué es importante.

¿Qué es Data Fabric?

El tejido de datos es una nueva solución de datos empresariales y la primera evolución real de los datos desde que apareció la base de datos relacional en la década de 1970.

Utiliza una arquitectura basada en red para manejar la información utilizando conexiones en lugar de copias, un enfoque similar al del cerebro humano. Esta estructura entretejida es de donde proviene el término «tejido», aunque también sería correcto llamarlo una verdadera red de datos.

Es este enfoque el que permite que la estructura de datos reemplace la integración punto a punto con controles de acceso universal, eliminando la copia de datos, promoviendo la inteligencia colaborativa, terminando los silos de datos y creando una propiedad de datos significativa, posiblemente por primera vez desde la invención de los datos digitalizados. Esto la convierte en una tecnología importante para estos tiempos, cuando políticas como el RGPD buscan codificar la protección de la privacidad de los datos.

Todos estos atributos transmiten algunos beneficios clave para el arquitecto empresarial que elige la estructura de datos, incluidos tiempos de entrega de TI más rápidos, datos reutilizables y autónomos y la capacidad de aumentar la eficiencia con el tiempo.

El tejido de datos es la evolución más reciente de los datos. Exploremos lo que implica antes de seguir adelante.

Debido a que la estructura de datos se basa en el acceso universal en lugar de las copias, permite la propiedad significativa de los datos por primera vez.

Propósito del Data Fabric

En un nivel básico, el propósito de la estructura de datos es proporcionar una mejor manera de manejar los datos empresariales. Lo hace reemplazando copias con acceso controlado y proporcionando un método para separar los datos de las aplicaciones que los crean. Este enfoque devuelve el control a los propietarios de los datos y, al mismo tiempo, facilita el intercambio de datos con los colaboradores.

Este es un logro revolucionario. A lo largo de todo el historial de datos, cuanto más fácil era compartir datos, más difícil era tener una propiedad significativa sobre ellos. Esta tendencia realmente llegó a un punto crítico en las últimas décadas, donde Internet y la tecnología en la nube hicieron posible la difusión instantánea de innumerables copias de datos. Seguro que esto facilitó compartir cosas, pero ¿cómo puedes tener algo cuando hay diez mil copias?

Lo que hace una estructura de datos es permitir el procesamiento, la gestión, el análisis y el almacenamiento de casi cualquier cantidad de datos de una multitud de fuentes. Luego, la estructura de datos permite que las aplicaciones y herramientas accedan a esos datos mediante una serie de interfaces. También es importante tener en cuenta que los tejidos de datos aprovechan los datos en tiempo real.

Componentes clave de una solución de tejido de datos

El tejido de datos es relativamente nuevo y se ofrecen muchas soluciones con el nombre de tejido de datos. Sin embargo, solo un puñado de soluciones son lo que se puede considerar como verdadera tecnología de estructura de datos.

Estos son los componentes que debes buscar al elegir una solución:

1. Un diseño basado en red con controles universales en lugar de copias de datos

Por definición, una estructura de datos debe diseñarse como una red. Es este diseño basado en red el que forma la base de todo lo demás que puede ofrecer una estructura de datos. Además, la estructura de datos debe aprovechar esta estructura de red para ofrecer controles de acceso universal para sus datos.

Si estás familiarizado con la configuración de permisos en un paquete de productividad basado en la nube, comprendes la premisa básica aquí. En lugar de compartir copias de datos, establece permisos para que los usuarios accedan a su única fuente. Una estructura de datos debería permitirte controlar estos permisos a nivel de datos, lo que significa que puedes establecer permisos de datos una vez, en lugar de una aplicación por aplicación.

Debido a que estos controles están incrustados en el nivel de datos, existirán dondequiera que aparezcan esos datos. Por ejemplo, puedes dar permiso al equipo de marketing para ver las direcciones de correo electrónico de los clientes. Estableces este permiso una vez, y cada vez que la dirección de correo electrónico de un cliente aparece como un conjunto de datos, el equipo de marketing podrá verla. Esto reduce las horas de trabajo de la gestión de permisos de datos.

El diseño en red y los permisos de nivel de datos eliminan la necesidad de copiar datos de una aplicación a otra y realizar proyectos de integración. Esto reduce aún más el tiempo y el coste de crear nueva tecnología, al tiempo que prepara el escenario para la propiedad y la privacidad de los datos.

2. La capacidad de datos autónomos

Hasta ahora, los datos siempre han estado ligados a la aplicación que los creó. Ésta es la raíz del problema detrás de la actual dependencia de la copia de datos y la realización de costosos proyectos de integración. El tejido de datos ofrece la capacidad de separar los datos de la aplicación, creando datos autónomos, datos que existen de forma independiente y pueden ser accedidos por múltiples aplicaciones sin requerir esfuerzos de integración punto a punto.

Estos datos autónomos tienen varios usos y constituyen una forma increíblemente eficiente de crear nuevas soluciones. Piensa en la forma en que las API te permiten reutilizar código para nuevas aplicaciones: la estructura de datos debería permitirte reutilizar los datos de manera similar. La nueva tecnología puede aprovechar los datos que ya están en la estructura, por lo que la solución que creaste para X se puede adaptar fácilmente a Y sin tener que reconstruir componentes clave.

Los datos autónomos también te brindan la capacidad de agregar fácilmente nuevas funciones y capacidades a los sistemas heredados. Al trabajar con una estructura de datos, resulta mucho más fácil «enseñar nuevos trucos a sus perros viejos» al aumentar las aplicaciones existentes con nuevas capacidades.

La estructura de datos representa el fin del paradigma familiar de comprar / construir / integrar. La creación de soluciones en una estructura de datos debería reducir los tiempos de construcción a la mitad simplemente eliminando la necesidad de llevar a cabo proyectos de integración punto a punto, y puede ofrecer beneficios adicionales a partir de ahí.

3. La presencia de plasticidad

La plasticidad es la capacidad de remodelar y reorganizar la información existente de una manera más eficiente. Es lo que le permite a su cerebro manejar más datos que cualquier empresa del planeta: se optimiza constantemente para hacer conexiones más eficientes entre las cosas que aprende. De hecho, los estudios han demostrado que un coeficiente intelectual alto se correlaciona con tener menos conexiones de este tipo.

Actualmente, la integración punto a punto significa que tu arquitectura de datos tiene la máxima cantidad de conexiones posibles, lo que daría lugar a una puntuación de IQ muy baja. La plasticidad de los datos significa que estas conexiones se pueden optimizar para crear inteligencia real para la empresa. Esto nunca antes se había replicado de manera significativa en los datos de la máquina.

Para las empresas, la plasticidad elimina las barreras que limitan la evolución del esquema. Los constructores pueden crear integraciones a través de contratos de datos (es decir, modelos) para evitar que las integraciones se rompan a medida que el esquema de la estructura de datos evoluciona con el tiempo. Esto permite cambiar tu esquema de datos sin romper ninguna dependencia interna o externa, incluidas las relaciones hacia y desde otras tablas, API o consultas.

Al permitir la evolución del esquema, el modelo de datos es libre de evolucionar de manera similar a cómo el cerebro humano se adapta continuamente a medida que adquiere nueva información.

4. Propiedad significativa de los datos

La propiedad significativa de los datos es vital para proteger la privacidad personal y la seguridad empresarial, y puede verse como un paso fundamental para ingresar al futuro de datos hiperintensivos de AI / ML, IoT y otras tecnologías emergentes.

Como tal, ha habido un impulso reciente de los legisladores para crear y hacer cumplir las regulaciones de propiedad de datos. Pero cada proyecto de integración significa nuevas copias de datos, y las empresas de hoy pueden tener miles de copias de datos para administrar. Con tantas copias de datos, realmente no existe la «propiedad de los datos».

Cualquier intento de controlar los datos, incluido el RGPD y otra legislación similar, es, por lo tanto, un punto discutible hasta que se haya frenado la copia de datos y la propiedad de los datos tenga un significado real. Los datos son tan seguros como su copia más vulnerable, y cualquier intento de garantizar el control de los datos sin hacer algo antes con todas estas copias es como intentar controlar el valor de la moneda sin hacer nada con respecto a la falsificación.

En virtud de su capacidad para eliminar copias y controlar el acceso, la estructura de datos debe proporcionar una plataforma ideal para establecer y hacer cumplir la propiedad significativa de los datos.

5. Metadatos activos

Los metadatos son datos sobre los datos y son la clave para desbloquear la mayor parte de la magia de una estructura de datos. Los metadatos tradicionales están inactivos, lo que limita gravemente su utilidad. Una estructura de datos activa estos metadatos, lo que significa que se actualizan en tiempo real y se pueden consultar, analizar e interactuar de otra manera con los datos tradicionales. Aquí es de donde proviene el verdadero poder de un tejido de datos.

Al activar los metadatos, es posible tener operaciones de datos universales y agilizar todo el proceso de administración de datos y cambiar datos y estructuras de un extremo a otro. Son estos metadatos activados los que permiten una gobernanza estandarizada y una API de datos universal, que son ingredientes clave del tejido de datos.

Y debido a que los metadatos activos se actualizan en tiempo real, puedes cambiar los eventos de captura de datos para conectar fuentes ascendentes y descendentes en la estructura. En otras palabras, son estos metadatos activados los que permiten el componente vital de plasticidad en la arquitectura de tu estructura de datos.

En su conjunto, los metadatos activos facilitan la gestión de datos de forma intuitiva. Ésta es la esencia misma de la tecnología de tejido de datos.

6. Experiencias basadas en metadatos

Un verdadero tejido de datos debe tener la capacidad de reemplazar las aplicaciones tradicionales con experiencias impulsadas completamente por metadatos. Para el usuario final, estas experiencias serán indistinguibles de una API o aplicación, pero crearlas es tan simple como trabajar con datos en una hoja de cálculo.

Las experiencias totalmente desarrolladas basadas en metadatos requieren una estructura de datos bastante madura con una variedad sólida de fuentes de datos conectadas, lo que las convierte en una tecnología de estado del futuro. Pero las bases de estas experiencias deberían existir en cualquier tecnología actual que se llame a sí misma un tejido de datos. Es decir, la capacidad de utilizar metadatos activos de tal manera que reemplace la necesidad de codificación en el sentido tradicional.

Estas experiencias impulsadas por metadatos prometen remodelar la forma en que se construyen las soluciones en el futuro, dando más poder a los propietarios de los datos y permitiendo a los usuarios comerciales crear soluciones de datos personalizadas sin involucrar a los recursos de TI. Los beneficios de esto son abundantes, desde tiempos de construcción más rápidos hasta soluciones fácilmente personalizadas.

Imagina brindar a los miembros de tu equipo la capacidad de crear sus propias soluciones personalizadas para trabajar con sus datos, incluso si no tienen ninguna habilidad técnica más allá de trabajar en una hoja de cálculo o SQL; eso es exactamente lo que prometen estas experiencias basadas en metadatos.

7. La capacidad de efectos de red

Quizás el beneficio más prometedor de una verdadera estructura de datos es la capacidad para efectos de red. Este es un fenómeno en el que una red se vuelve más eficiente y efectiva a medida que se conectan más nodos. El primer teléfono, por ejemplo, fue bastante inútil hasta la invención del segundo teléfono. Y solo mejoró a medida que más y más teléfonos se conectaban en red.

La estructura de datos ofrece este mismo resultado para los datos empresariales. Cuantos más datos existan en el tejido, más fácil será aprovecharlos hacia nuevas soluciones.

Con un verdadero tejido de datos, cuanto más lo uses, más eficiente se volverá.

Por que utilizar el software Data Fabric

El software de tejido de datos ofrece una serie de beneficios.

Hace que los tiempos de construcción sean significativamente más rápidos, impulsando los esfuerzos de transformación digital. Permite soluciones de código bajo y sin código, lo que brinda a los propietarios de datos y a otros usuarios comerciales la capacidad de resolver problemas sin consumir valiosos recursos de TI (si alguien puede trabajar con hojas de cálculo o SQL, puede crear API a través de una estructura de datos).

La estructura de datos elimina la copia de datos, lo que constituye la base para una propiedad de datos significativa. Esto ayuda a soluciones preparadas para el futuro antes de las nuevas leyes de privacidad de datos, que se introducen con regularidad.

La estructura de datos presenta la eficiencia combinada de los efectos de red para los datos. Cuanto más trabajes con tu estructura de datos, más eficaz y eficiente se volverá. Esto brinda una enorme ventaja competitiva a los primeros usuarios de estructuras de datos.

La estructura de datos tiene un bajo coste de entrada. No hay tiempo de inactividad por instalar una nueva estructura. Simplemente elige un proyecto existente y usa tu nueva estructura de datos para construir la solución. Existirá en conjunto con sus sistemas heredados y crecerá orgánicamente a medida que lo uses para proyectos futuros.

Las empresas para quienes los datos son importantes a menudo encuentran que sus sistemas actuales son demasiado lentos, demasiado divididos e ineficientes.

Y, en empresas más grandes, tener varios grupos de personas que almacenan y recuperan datos a su manera da como resultado una red fragmentada de datos que está lejos de estar unificada.

A diferencia de otras soluciones, una estructura de datos no es una solución rápida. Más bien, es una forma permanente y escalable de reunir todos tus datos bajo el paraguas de una plataforma unificada.

Una estructura de datos puede resolver una serie de problemas, como:

  • Baja disponibilidad de datos
  • Poca o ninguna confiabilidad en términos de almacenamiento y seguridad
  • Datos en silos
  • Escalabilidad deficiente que no puede adaptarse a diferentes cantidades de datos
  • Confianza en sistemas heredados de bajo rendimiento.

Data Fabric y Big Data

La transformación digital es una agenda estratégica importante en la mayoría de las organizaciones, y eso significa aprovechar todos los recursos, heredados y modernos, en una variedad de formatos. El objetivo es crear una plataforma convergente que admita el almacenamiento, procesamiento, análisis y gestión de formas dispares de datos. Estos datos se pueden extraer de una variedad de fuentes, incluidos archivos, tablas de bases de datos, flujos de datos, objetos, imágenes, datos de sensores e incluso aplicaciones basadas en contenedores.

En resumen, es una red de fuentes de Big Data, todas unidas a través de una red redundante de interfaces de alta velocidad, como Network File System (NFS), POSIX (interfaz de sistema operativo portátil), una API REST, sistema de archivos distribuido Hadoop (HDFS), ODBC y Apache Kafka.

Para participar realmente en la transformación digital y aprovechar al máximo todos tus datos, debes acceder a todos ellos desde diferentes recursos y no sentirte abrumado por el gran volumen de datos. Esto requiere una organización centrada en datos que no esté vinculada a un solo proveedor o protocolo.

Conclusión

La tecnología de estructura de datos a menudo se compara con la tecnología de virtualización de datos, y ambas ofrecen formas innovadoras de manejar datos empresariales. Pero hay una diferencia importante entre los dos: la virtualización de datos simula el cambio, mientras que la estructura de datos ofrece un cambio real en la estructura física de tus datos. Es la diferencia entre ponerse las gafas de realidad virtual para hacer un recorrido virtual por el Gran Cañón y estar realmente allí.

La estructura de datos es muy real. Las principales empresas de las finanzas globales y otras industrias de gran cantidad de datos ya confían en él para revolucionar la forma en que manejan sus datos. Y sus primeras reacciones son extremadamente positivas. La estructura de datos permite a estas corporaciones crear soluciones más rápido que nunca antes, y hacerlo al mismo tiempo que eliminan las copias de datos y protegen la privacidad de los datos para crear una propiedad de datos significativa.

El data fabric es una nueva tecnología prometedora que tiene el potencial de acabar con el paradigma de compra-construcción-integración que ha dominado la TI empresarial durante los últimos 40 años. Pero debido a que la tecnología de estructura de datos es tan nueva, es importante comprender qué componentes y capacidades críticos conforman una verdadera plataforma de estructura de datos.

Busca una solución que ofrezca una red de datos, datos autónomos, metadatos activos y los otros beneficios descritos aquí, y estarás seguro de que estás obteniendo el trato real. Tendrás todo lo que necesitas para tu nuevo enfoque de arquitectura empresarial centrado en los datos.