BigData – zwinność w architekturze danych?

Data: 2017-10-16
Autor: Sebastian Konkol
BigData – zwinność w architekturze danych?

Jest takie branżowa prawda: aplikacje się zmieniają, dane pozostają. Dane – ich modelowanie, sposoby przetwarzania i składowania – mają już najdłuższą historię. Wszak to, co robimy, IT (Information Technology) to praktyka przetwarzania informacji. Tym niemniej, jak pokazuje praktyka, kiedy po raz pierwszy wprowadzimy do jakiegoś systemu określoną strukturę danych, nie tylko pozostaje ona taką samą, ale jeszcze ma tendencje do „infekowania” sobą wszystkiego dookoła. W takich warunkach dopasowanie jest co najmniej trudne – warunki antyzwinności.

To jednak nie koniec kłopotów z danymi. Badania pokazują, że przyrost danych produkowanych przez ludzi ma charakter wykładniczy – w roku 2010 było 1,2 ZB, w 2015 było już 7,9 ZB, a prognozy na rok 2020 to 35 ZB (1 ZB, zetabajt, to 1021 bajów). Tworzymy tyle danych, że nie tylko nie dajemy sobie rady z ich magazynowaniem, ale nie radzimy sobie także z ich analizą. Te dane te są coraz mniej ustrukturalizowane. Co prawda czujemy, że dane te mają dużą wartość, ale nie potrafimy powiedzieć, jak je wykorzystać. Wiemy, że się przydadzą, ale nie wiemy kiedy i jak. Stały się „przydasiami”. Nawet jeśli wcześniej było inaczej, teraz tworzenie danych zostało oddzielone od ich wykorzystania.

Na fali tych trendów – narastającej szybkości przyrostu danych i oderwania tworzenia danych od ich wykorzystania – pojawiły się technologie BigData. Na początku był to po prostu skuteczny sposób na zunifikowane gromadzenie i magazynowanie „przydasiów”. Miejsce struktur relacyjnych charakterystycznych dla „dawnych czasów” zajęły „bigdatowe” generyczne struktury klucz-wartość. Chwilę po tym okazało się, że sposób opisu i składowania danych w strukturach klucz-wartość całkiem nieźle nadaje się jako źródło dla narzędzi analitycznych, często działających w trybie ciągłym, nie jak tradycyjne hurtownie danych. Znowu rozumiemy dane, nie na poziomie pojedynczych obserwacji, ale wykorzystujemy metody statystyczne do wyciągnięcia z danych wiedzy niedostępnej na podstawie analizy pojedynczych przypadków. Zawrotna kariera BigData, moim zdaniem wcale jeszcze nie jest zakończona – wręcz przeciwnie, dopiero się zaczyna.

Zdradzę Wam pewną teorię „spiskową”: współczesny świat stał się tak złożony, że już niewielka, liczona w pojedynczych procentach populacji jej część jest w stanie ogarniać to, co się na świecie dzieje. Dla przytłaczającej większości dzisiejszy świat jest chaosem bez ładu i składu. Dotyczy to zarówno tak lokalnych spraw jak płynność ruchu samochodowego w mieście, po tak globalne sprawy jak międzynarodowe rynki finansowe. Nie jest w ludzkiej mocy sterowanie pojedynczymi zachowaniami pojedynczych jednostek, aby uzyskać oczekiwany efekt – ten efekt niemalże zawsze „wyłania się” z interakcji wielu zachowań. Świat stał się złożonym system samoorganizującym (CAS, Complex Adaptive System). Sterowanie takim systemem wymaga wzniesienia się z poziomu rozumienia pojedynczych zachowań jednostek do poziomu rozumienia zachowań systemu wyłaniających się z niego. Na prostym przykładzie za CAS można uznać mrowisko. Zachowania Homo Sappiens, nawet te najbardziej podstawowe, są dalece bardziej wielowartościowe, niż proste feromony mrówek. Zrozumienie CAS wymaga prowadzenia jednoczesnej obserwacji zachowań bardzo wielu jednostek oraz obserwacji efektów interakcji między nimi. Na tej podstawie można budować modele przewidujące zachowania systemu jako całości, które będą wyłaniać się z niego. To, do czego mrówki dochodzą metodą prób i błędów my możemy zidentyfikować na podstawie analizy wielkich wolumenów relatywnie prostych informacji. Możemy także eksperymentować na takich modelach nie ponosząc strat, jak w sytuacji mrówek. Możemy więc uzyskać wiedzę o kierunkach samoorganizacji złożonego systemu samoorganizującego się. BigData reprezentuje właśnie tę zdolność i – moim zdaniem – taki właśnie będzie kierunek jej rozwoju.

Druga cecha BigData, która zdeterminuje dalszy sukces tego podejścia do danych, to możliwość wykorzystania tych danych w sposób, jaki nie był przewidziany w czasie ich gromadzenia. To jeden z fundamentów zapewnienia zwinności w architekturze – BigData daje w sferze danych możliwości dopasowania, które są podstawa dla zwinności w architekturze. BigData jest zwinne By Design.

Nie wyłączajcie jednak prądu w serwerach z Waszymi relacyjnymi bazami danych. Tak samo, jak dla sfery aplikacji, dla jakiejś części rozwiązań ważniejszym elementem będzie determinizm, niż zdolność do adaptacji. Do znudzenia więc zalecam zdrowy rozsądek, jednak spodziewajcie się zmian w architekturze danych w kierunku BigData. Ludzkość bowiem nie ogarnia.

Pozostaw komentarz