Eksploracja danych

Eksploracja danych (ang. data mining) jest to proces odkrywania uogólnionych reguł i wiedzy zawartej w bazach danych oparty o metody statystyczne i techniki sztucznej inteligencji. Wiedza ta nie wynika bezpośrednio z samych danych, ale z faktu, iż to właśnie takie, a nie inne dane znalazły się razem w jednej bazie danych .

Niektórzy autorzy określają data mining jako nietrywialną ekstrakcję poprzednio nieznanej wiedzy z danych przechowywanych w hurtowni. Polega ono na wykrywania współzależności, tendencji na podstawie zgromadzonych danych za pomocą technik statystycznych, matematycznych i rozpoznawania prawidłowości występujących w danych .

Ponadto eksploracja danych jest także:

• klasycznym narzędziem, które generuje sprawozdania i analizy,
• procesem, który jest automatyczny i nie wymaga nadzorowania ze strony człowieka,
• odszukuje przyczyny problemów przedsiębiorstw lub biznesowych,
• pomimo swojej złożoności jest procesem szybkim .

TL;DR

Eksploracja danych to proces odkrywania ukrytej wiedzy w bazach danych za pomocą statystyki i sztucznej inteligencji. Istnieją różne modele i metody eksploracji danych, które pomagają w analizie i generowaniu raportów. Eksploracja danych ma wiele zastosowań w zarządzaniu, takich jak identyfikacja wzorców zachowań klientów, wykrywanie powiązań demograficznych, czy określanie prawidłowości zmian cen akcji.

Modele eksploracji danych

• CRISP-DM (Cross-Industry Standard Process for Data Mining). Twórcami tego modelu są NCR Systems Engineering Copenhagen, SPSS/Integraf Solutions Ltd., Daimler-Chrysler oraz OHRA Verzekeringen Bank Group B.V.

Ich zdaniem model eksploracji danych składa się z sześciu etapów:

1. Zrozumienie uwarunkowań biznesowych.

2. Zrozumienie danych.

3. Przygotowanie danych.

4. Modelowanie - czyli wybór technik, które będą użyte do utworzenia modelu eksploracji danych.

5. Ewaluacja - ocena modelu, jego testowanie i ponowne przejrzenie jego konstrukcji.

6. Wdrożenie.

• SEMMA (Sample, Explore, Modify, Model, Assess), zaprojektowany przez SAS Institute. W jego skład wchodzi pięć etapów:

1. Próbkowanie - wykorzystanie tylko części danych, zanim całość zostanie wprowadzona.

2. Eksplorowanie - w celu głębszego poznania danych.

3. Manipulacja - po etapie eksplorowanie, często potrzebna jest modyfikacja danych

4. Modelowanie - czyli wybór techniki modelowania.

5. Ocena.

• DMAIC (Define, Measure, Analyze, Improve, Control), oparty na strategii Six Sigma. Stworzony przez inżynierów z Instytutu Motoroli. Model skupia się na eliminacji strat i defektów, problemów z jakością w rożnych dziedzinach biznesu. Składa się z pięciu etapów:

1. Definiowanie - określenie celów i identyfikacja problemów biznesowych.

2. Pomiar - zbierane są informacje o aktualnym stanie procesu.

3. Analiza - zdefiniowanie krytycznych przyczyn problemów, uzasadnienie ich wpływu na proces.

4. Usprawnienie - wprowadzanie odpowiednich rozwiązań.

5. Kontrola.

• VcofDM (Virtuos Cycle of Data Mining) zaprojektowany przez M. J. A. Berrego i G. Linoffa, wybitych specjalistów dziedziny eksploracji danych. Składa się z czterech etapów:

1. Zidentyfikowanie problemów biznesowych.

2. Przekształcenie danych w informacje.

3. Podjęcie działań.

4. Mierzenie i ocena wyników .

Metody eksploracji danych

Metody eksploracji danych są dzielone na 6 podstawowych klas:

1. Klastrowanie - głównym celem tych metod jest odnajdowanie w bazie danych skończonych zbiorów klas obiektów, czyli klastrów, posiadających podobne cechy. Owy proces klastrowania przebiega bardzo często w dwóch cyklach: cykl zewnętrzny, który przebiega po liczbie możliwych klastrów; cykl wewnętrzny, próbujący odnaleźć optymalny podział między klastry.
2. Odkrywanie asocjacji - jest to najrozleglejsza klasa metod. Obejmuje odkrywanie różnego rodzaju nieznanych współzależności w bazie danych. Jest to przede wszystkim odkrywanie asocjacji między obiektami.
3. Odkrywanie wzorców sekwencji - czyli odkrywanie wzorców zachowań czasowych, na przykład sekwencja notowań giełdowych, zachowania klientów supermarketów.
4. Wykrywanie zmian i odchyleń - odnajdywanie różnic pomiędzy oczekiwanymi a aktualnymi wartościami danych, na przykład odnajdywanie anomalnych zachowań klientów firm telekomunikacyjnych.
5. Odkrywanie zbieżności w przebiegach czasowych - odnajdywanie podobieństw w czasowych przebiegach, które opisują określone procesy.
6. Odkrywanie klasyfikacji - do głównego celu tych metod należy odnajdywanie zależności między klasyfikacją danych obiektów (taką wprowadzoną przez eksperta lub naturalną) a ich charakterystyką .

Wykorzystanie

Eksploracja danych przynosi wymierne korzyści w różnych obszarach zarządzania. Przykłady zastosowań eksploracji danych to:

• identyfikacja wzorców zachowań klientów przy dokonywaniu zakupów,
• wykrywanie powiązań pomiędzy charakterystykami demograficznymi klientów,
• identyfikacja lojalnych klientów,
• odnajdywanie współzależności pomiędzy różnymi wskaźnikami finansowymi,
• określanie prawidłowości rządzących zmianami cen akcji na podstawie ich dotychczasowych notowań,
• opracowanie planu dystrybucji towarów pomiędzy rynkami zbytu.

Przypisy

Eksploracja danych — artykuły polecane

Modelowanie procesów — 7 narzędzi TQC — Sztuczne sieci neuronowe — Analiza danych — Konceptualizacja — DMAIC — Behavior driven development — Zarządzanie strategiczne — Cykl Deminga

Bibliografia

• Morzy T. (1999) Eksploracja danych: problemy i rozwiązania V Konferencja PLOUG, Zakopane
• Olszak C. (2018), Analiza i ocena wybranych modeli eksploracji danych
• Ryznar Z. (1998) Istota i zadania hurtowni danych, "Informatyka", nr 11
• Strykowski S. (1996) Eksploracja danych, "Informatyka" nr 10
• Woźniak K. (2005), System informacji menedżerskiej jako instrument zarządzania strategicznego w firmie, praca doktorska, Akademia Ekonomiczna w Krakowie, Kraków

Autor: Krzysztof Woźniak, Karolina Gralak