Сетка данных. Современная концепция самообслуживания

Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych

Zhamak Dehghani

Dostęp do danych jest warunkiem rozwoju niejednej organizacji. Aby w pełni skorzystać z ich potencjału i uzyskać dzięki nim konkretną wartość, konieczne jest odpowiednie zarządzanie danymi. Obecnie stosowane rozwiązania w tym zakresie nie nadążają już za złożonością dzisiejszych organizacji, rozprzestrzenianiem się źródeł danych i rosnącymi aspiracjami inżynierów, którzy rozwijają techniki sztucznej inteligencji i analizy danych. Odpowiedzią na te potrzeby może być siatka danych, jednak praktyczna implementacja tej koncepcji wymaga istotnej zmiany myślenia.

Ta książka szczegółowo wyjaśnia paradygmat siatki danych, a przy tym koncentruje się na jego praktycznym zastosowaniu. Zgodnie z tym nowatorskim podejściem dane należy traktować jako produkt, a dziedziny - jako główne zagadnienie. Poza wyjaśnieniem paradygmatu opisano tu zasady projektowania wysokopoziomowej architektury komponentów siatki danych, a także przedstawiono wskazówki i porady dotyczące ewolucyjnej realizacji siatki danych w organizacji. Tematyka ta została potraktowana wszechstronnie: omówiono kwestie technologiczne, organizacyjne, jak również socjologiczne i kulturowe. Dzięki temu jest to cenna lektura zarówno dla architektów i inżynierów, jak i dla badaczy, analityków danych, wreszcie dla liderów i kierowników zespołów.

W książce:

• wyczerpujące wprowadzenie do paradygmatu siatki danych
• siatka danych i jej komponenty
• projektowanie architektury siatki danych
• opracowywanie i realizacja strategii siatki danych
• zdecentralizowany model własności danych
• przejście z hurtowni i jezior danych do rozproszonej siatki danych

Siatka danych: kolejny etap rozwoju technologii big data!

O autorze:

Zhamak Dehghani jest autorką paradygmatu siatki danych. Pełni funkcję dyrektora do spraw technologii w firmie ThoughtWorks, gdzie zajmuje się systemami rozproszonymi i architekturą danych. Jest członkinią wielu organów doradczych do spraw technologii, a także zwolenniczką decentralizacji w technologii i w społeczeństwie.

Spis treści:

Przedmowa

Wstęp

Prolog. Wyobraź sobie siatkę danych

Część I. Czym jest siatka danych?

• 1. Siatka danych w pigułce

  Rezultaty

  Transformacje

  Zasady

  Zasada własności dziedziny

  Zasada danych jako produktu

  Zasada samoobsługowej platformy danych

  Zasada sfederowanego zarządzania obliczeniowego

  Wzajemne oddziaływanie zasad

  Spojrzenie na model siatki danych

  Dane

  Dane operacyjne

  Dane analityczne

  Pochodzenie

• 2. Zasada własności dziedziny

  Krótkie wprowadzenie do projektowania dziedzinowego

  Zastosowanie projektowania strategicznego DDD do danych

  Archetypy danych dziedzinowych

  Dane dziedzinowe dostosowane do źródła

  Zagregowane dane dziedzinowe

  Dane dziedzinowe dostosowane do konsumenta

  Przechodzenie w kierunku własności dziedzinowej

  Przekazuj własność danych upstreamowo

  Definiuj wiele połączonych modeli

  Polisemie

  Wykorzystaj dane najbardziej odpowiedniej dziedziny: nie oczekuj jednego źródła prawdy

  Ukrywaj potoki danych jako wewnętrzną implementację dziedzin

  Podsumowanie

• 3. Zasada danych jako produktu

  Zastosowanie do danych myślenia w kategoriach produktu

  Podstawowe atrybuty użyteczności produktu danych

  Przechodzenie do zasady danych jako produktu

  Uwzględnij własność produktu danych w dziedzinach

  Przeformułuj nomenklaturę, aby zainicjować zmiany

  Traktuj dane jako produkt, a nie zwykły zasób

  Kształtuj kulturę danych opartą na zasadzie "ufaj, ale sprawdzaj"

  Łącz dane i obliczaj je jako pojedynczą jednostkę logiczną

  Podsumowanie

• 4. Zasada samoobsługowej platformy danych

  Porównanie platformy siatki danych z innymi rozwiązaniami

  Dostosowanie do autonomicznych zespołów opartych na dziedzinach

  Zarządzanie autonomicznymi i interoperacyjnymi produktami danych

  Zintegrowana platforma dla funkcjonalności operacyjnych i analitycznych

  Dostosowanie do generalistów

  Faworyzowanie technologii zdecentralizowanych

  Niezależność dziedzinowa

  Myślenie w kategoriach platformy siatki danych

  Umożliwienie autonomicznym zespołom uzyskiwania wartości z danych

  Wymiana wartości za pomocą autonomicznych i interoperacyjnych produktów danych

  Przyspieszenie wymiany wartości przez zmniejszenie obciążenia poznawczego

  Poziome skalowanie udostępniania danych

  Wspieranie kultury wbudowanych innowacji

  Przechodzenie na samoobsługową platformę siatki danych

  Najpierw zaprojektuj interfejsy API i protokoły

  Przygotuj się na dostosowanie do generalistów

  Przeprowadź inwentaryzację i dokonaj uproszczenia

  Utwórz wysokopoziomowe interfejsy API do zarządzania produktami danych

  Buduj doświadczenia, a nie mechanizmy

  Zacznij od najprostszych fundamentów, a potem zbieraj plony, aby ewoluować

  Podsumowanie

• 5. Zasada sfederowanego zarządzania obliczeniowego

  Zastosowanie myślenia systemowego do zarządzania siatką danych

  Utrzymywanie dynamicznej równowagi między autonomią dziedzinową a globalną interoperacyjnością

  Przyjęcie topologii dynamicznej jako stanu domyślnego

  Wykorzystanie automatyzacji i architektury rozproszonej

  Zastosowanie federacji do modelu zarządzania

  Zespół sfederowany

  Wartości przewodnie

  Reguły

  Zachęty

  Zastosowanie obliczeń do modelu zarządzania

  Standardy jako kod

  Reguły jako kod

  Zautomatyzowane testy

  Zautomatyzowane monitorowanie

  Przechodzenie na sfederowane zarządzanie obliczeniowe

  Delegowanie odpowiedzialności do dziedzin

  Osadzanie wykonywania reguł w poszczególnych produktach danych

  Automatyzacja zapewniania możliwości oraz monitorowania zamiast interweniowania

  Modelowanie luk

  Pomiar efektu sieciowego

  Przyjęcie zmian w miejsce stałości

  Podsumowanie

Część II. Dlaczego siatka danych?

• 6. Punkt przegięcia

  Wielkie oczekiwania wobec danych

  Wielki podział danych

  Skala - bliskie spotkania z nowym gatunkiem

  Nie tylko porządek

  Zbliżanie się do punktu zwrotu

  Podsumowanie

• 7. Po punkcie przegięcia

  Płynne reagowanie na zmiany w złożonym biznesie

  Wzajemne dostosowanie biznesu, technologii i danych analitycznych

  Wypełnienie luki między danymi analitycznymi i operacyjnymi

  Lokalizowanie zmian danych w dziedzinach biznesowych

  Zmniejszenie przypadkowej złożoności potoków i kopiowania danych

  Utrzymanie zwinności w obliczu wzrostu

  Usunięcie scentralizowanych i monolitycznych wąskich gardeł

  Zmniejszenie koordynacji potoków danych

  Zmniejszenie koordynacji zarządzania danymi

  Zapewnienie autonomii

  Zwiększenie współczynnika wartości z danych w stosunku do inwestycji

  Tworzenie warstwy abstrakcji dla złożoności technicznej za pomocą platformy danych

  Wszechobecne stosowanie myślenia w kategoriach produktowych

  Przekraczanie granic

  Podsumowanie

• 8. Przed punktem przegięcia

  Ewolucja architektur danych analitycznych

  Pierwsza generacja - architektura hurtowni danych

  Druga generacja - architektura jeziora danych

  Trzecia generacja - multimodalna architektura chmury

  Charakterystyka architektury danych analitycznych

  Monolityzm

  Scentralizowana własność danych

  Wykorzystanie technologii

  Podsumowanie

Część III. Jak zaprojektować architekturę siatki danych?

• 9. Architektura logiczna

  Dziedzinowe interfejsy udostępniania danych analitycznych

  Projekt interfejsu operacyjnego

  Projekt interfejsu danych analitycznych

  Międzydziedzinowe zależności danych analitycznych

  Produkt danych jako kwant architektury

  Komponenty strukturalne produktu danych

  Interakcje współdzielenia danych przez produkty danych

  Interfejsy API wykrywania i obserwowalności danych

  Wielopłaszczyznowa platforma danych

  Płaszczyzna platformy

  (Narzędziowa) płaszczyzna infrastruktury danych

  Płaszczyzna doświadczenia produktu danych

  Płaszczyzna doświadczenia siatki

  Przykład

  Osadzone reguły obliczeniowe

  Przyczepa produktu danych

  Kontener obliczeniowy produktu danych

  Port sterowania

  Podsumowanie

• 10. Architektura wielopłaszczyznowej platformy danych

  Projekt platformy oparty na podróżach użytkowników

  Podróż twórcy produktu danych

  Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł

  Budowanie, testowanie, wdrażanie i uruchamianie

  Utrzymywanie, ewoluowanie i wycofywanie

  Podróż konsumenta produktu danych

  Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł

  Budowanie, testowanie, wdrażanie i uruchamianie

  Monitorowanie, ewoluowanie i wycofywanie

  Podsumowanie

Część IV. Jak zaprojektować architekturę produktu danych?

• 11. Projektowanie produktu danych według afordancji

  Afordancje produktu danych

  Charakterystyka architektury produktu danych

  Projektowanie inspirowane prostotą złożonych systemów adaptacyjnych

  Zachowanie wynikające z prostych reguł lokalnych

  Brak centralnej orkiestracji

  Podsumowanie

• 12. Projektowanie konsumowania, przekształcania i serwowania danych

  Serwowanie danych

  Potrzeby użytkowników danych

  Właściwości projektowania serwowania danych

  Projektowanie serwowania danych

  Konsumowanie danych

  Archetypy źródeł danych

  Lokalizacja konsumpcji danych

  Projektowanie konsumowania danych

  Przekształcanie danych

  Przekształcanie programowe i nieprogramowe

  Transformacja oparta na przepływie danych

  Uczenie maszynowe jako transformacja

  Transformacja niestacjonarna

  Projekt transformacji

  Podsumowanie

• 13. Projektowanie wykrywania, rozumienia i komponowania danych

  Wykrywanie, rozumienie, obdarzanie zaufaniem i eksplorowanie

  Rozpocznij wykrywanie od samorejestracji

  Wykrywanie globalnego identyfikatora URI

  Zrozumienie modeli semantycznych i składniowych

  Ustanowienie zaufania za pomocą gwarancji danych

  Eksplorowanie kształtu danych

  Nauka na podstawie dokumentacji

  Wykrywanie, eksplorowanie i rozumienie projektu

  Komponowanie danych

  Właściwości projektu konsumowania danych

  Tradycyjne podejście do kompozycyjności danych

  Projekt komponowania danych

  Podsumowanie

• 14. Projektowanie organizowania i obserwowania danych oraz zarządzania nimi

  Zarządzanie cyklem życia

  Projektowanie zarządzania cyklem życia

  Komponenty manifestu produktu danych

  Zarządzanie danymi

  Projektowanie zarządzania danymi

  Normalizacja reguł

  Integracja danych i reguł

  Linkowanie reguł

  Obserwowanie, debugowanie i audytowanie

  Projektowanie obserwowalności

  Podsumowanie

Część V. Od czego zacząć?

• 15. Strategia i wykonywanie

  Czy należy przyjąć siatkę danych już dziś?

  Siatka danych jako element strategii danych

  Framework wykonywania siatki danych

  Wykonywanie oparte na biznesie

  Wykonywanie kompleksowe i iteracyjne

  Wykonywanie ewolucyjne

  Podsumowanie

• 16. Organizacja i kultura

  Zmiana

  Kultura

  Wartości

  Nagroda

  Motywacje wewnętrzne

  Motywacje zewnętrzne

  Struktura

  Założenia struktury organizacyjnej

  Wykrywanie granic produktów danych

  Ludzie

  Role

  Rozwój zestawów umiejętności

  Proces

  Zmiany kluczowych procesów

  Podsumowanie