Cheia succesului constă în arta de a dispune de cât mai multe informaţii, mai multe decât au concurenţii, în a gestiona baza de date în mod eficient şi în a pune la dispoziţia utilizatorului informaţii cât mai utile. Integrarea tehnologiei data warehouse se justifica prin faptul ca aceasta permite organizaţiei să fie mai activă pe piaţă pentru a decide şi a anticipa cu o eficienţă cât mai mare.
- Obiectivele si caracteristicile tehnologiei Data Warehouse
Acesta tehnologie oferă posibilitatea ca toate datele indiferent de provenienţa lor să fie organizate, coordonate, integrate si stocate astfel încât să permită utilizatorului să aibă o viziune de ansamblu asupra problemei. Înainte de a fi încărcată informaţia trebuie extrasă, prelucrată şi pregătită pentru a fi pusă la dispoziţia utilizatorului într-o formă cât mai accesibilă.
Aceasta implica:
- definirea din punct de vedere semantic a datelor;
- punerea în aplicare a structurii fizice particulare a datelor.
În acest sens definim Data Warehouse drept o colecţie de date orientată pe subiecte, integrate, nonvolatile si istoriceşte organizate pentru a asigura suportul unui proces de asistare a deciziei.
Caracteristicile Data Warehouse:
- E un sistem orientat pe subiecte. Datele sunt structurate pe teme cu scopul de a dispune de un ansamblu de informaţii utile legate de un subiect considerat esenţial pentru organizaţie. Această orientare pe subiecte permite dezvoltarea propriului sistem decizional printr-un proces de incrementare subiect cu subiect.
- E un sistem care conţine date integrate. Data Warehouse e realizat la nivel de întreprindere si spre deosebire de un format clasic implica obţinerea unor date finale desfăşurate pe un interval de timp mai îndelungat.
- Un Data Warehouse se bazează pe unificare. Unitatea de analiză se reduce adesea la nivelul produsului însa de cele mai multe ori nu e uşor de rezolvat. Aceasta sarcină suplimentară de unificare a datelor e destul de dificilă şi de laborioasă datorită necunoaşterii sensului real al datelor.
- E un instrument care se bazează pe calitate şi calificare. Un element ce trebuie luat în considerare sunt datele ce lipsesc atât din sistemul intern cât şi din cel extern, date ce sunt necesare în contextul unei analize decizionale. Data Warehouse e un instrument care poate rezolva aceasta problemă.
- Data Warehouse se bazează pe date istorice. Într-un sistem clasic datele sunt actualizate după fiecare tranzacţie efectuată astfel încât valoarea mai veche e pierdută iar informaţiile sunt aduse în mod constant la zi.
În cadrul unui depozit Data Warehouse datele nu trebuie niciodată actualizate pentru ca reprezintă valori inserate în sistemul decizional la un moment dat. Astfel se va stoca istoricul datelor, un ansamblu de valori de-a lungul timpului. In acest context fiecărei date i se va asocia un element temporal cu scopul de a identifica o valoare particulară in timp.
- Un depozit Data Warehouse implica date nonvolatile. Caracterul nonvolatil este consecinţa valorilor istorice menţinute în cadrul unui sistem. Aceeaşi cerere de interogare efectuată la intervale de timp diferite va furniza acelaşi rezultat.
Neactualizarea datelor in cadrul unui Data Warehouse are două consecinţe:
- organizarea interna a bazei de date trebuie adaptată cu scopul de a suporta optimizarea accesului la date;
- tehnologiile necesare accesului curent al utilizatorilor trebuie adaptate cerinţelor acestora.
- Structura unui Data Warehouse
Data Warehouse e structurat în 4 clase de date organizate după o axa în funcţie de sensul istoric şi în raport de caracterul sintetic astfel:
- date detaliate (istorice);
- date detaliate adunate într-o baza;
- date agregate;
- date puternic agregate.
Datele agregate şi datele puternic agregate formează metadatele.
Datele detaliate reflectă evenimentele cele mai recente din structura unui depozit de date în sensul ca înserările regulate vor fi realizate la acest nivel. În general datele detaliate sunt extrem de voluminoase impunând un sistem hardware destul de sofisticat. O dată inserata într-un Data Warehouse poate fi considerată o simplificare a informaţiilor extrase din sistem.
Datele agregate corespund unor elemente de analiză reprezentative. Sunt un rezultat al acesteia aferent procesului decizional. Prin urmare datele trebuie să fie accesate uşor şi prezentate într-o forma agregata. Acest lucru e asigurat prin structuri multidimensionale care le permit utilizatorilor să navigheze în depozitul de date prin metode specifice.
Informaţiile obţinute sunt destinate echipelor responsabile cu procesele de transformare a datelor, echipe care asigură administrarea bazei de date.
Datele istorice reprezintă unul din obiectivele esenţiale ale Data Warehouse, fiecare nouă inserare nu distruge vechile valori ci creează o nouă dimensiune a datelor.
Logica de acces folosită de utilizatorii Data Warehouse se bazează pe tehnica drill down - drill up mecanism ce permite deplasarea într-o structura multidimensionala pornind de la nivelul global la cel de detaliu (drill down) sau vice - versa (drill up). Această logică presupune formularea unor criterii de selecţie a datelor din ce in ce mai precise.
- Arhitecturi specifice unui data warehouse
- Arhitectura reală
Constituie o arhitectura specifica sistemelor decizionale prin care stocarea datelor se realizează printr-un sistem de gestionare a bazelor de date (SGBD) separat de sistemul organizaţional şi alimentat prin extrageri periodice de date.
Deşi structurile de date sunt complexe şi implică instrumente de programare avansate arhitectura reală e justificată de inadaptarea datelor aferente sistemului clasic. În condiţiile în care informaţiile sunt dispersate rolul Data Warehouse-ului este de a integra datele astfel încât să se asigure o coerenţă semantică globală pentru că datele sunt supuse unui proces aflat în evoluţie permanentă, nu se poate vorbi de consolidare. Principalul inconvenient al acestei arhitecturi sunt costurile suplimentare aferente stocajului si imposibilitatea accesului „in timp real”.
- Arhitecturi virtuale
In cazul acestora, datele sunt stocate în sisteme informatice interne şi sunt furnizate procesului decizional prin Middleware, instrument informatic ce asigură conectivitatea intre tehnicile de asistare a deciziei si datele necesare.
- Arhitectura izolata
Este o combinaţie între cele două tipuri şi are drept obiectiv implementarea din punct de vedere fizic a nivelurilor agregate cu scopul de a facilita accesul şi de a conserva nivelul de detaliere.
- Realizarea unui Data Warehouse
Procesele de transformare şi integrare a datelor pot fi sintetizate astfel:
- asamblarea componentelor (date din diferite surse);
- după instrucţiuni specifice (meta-modele);
- cu scopul de a realiza un proces finit (date analitice);
- stocat intr-un depozit(DW);
- pentru a fi pus la dispoziţia clienţilor(utilizatori finali).
Realizarea unui Data Warehouse prevede:
- Aplicaţiile.
O aplicaţie este un program informatic cu impact decizional integrat în structura globală. Fiecare subiect tratat este descompus într-un ansamblu de aplicaţii. Acestea trebuie gestionate cu uşurinţă pentru a furniza rezultate „palpabile”.
- Componente funcţionale.
Acestea sunt:
- achiziţionarea datelor ce presupune extragerea, pregătirea şi încărcarea datelor. Integritatea datelor extrase este obligatorie şi impune sincronizarea proceselor de extragere în plan funcţional sau din punct de vedere tehnic.
Extragerea datelor se face prin tehnologii specifice astfel:
- programul furnizat de proiectanţii bazelor de date;
- programe utilitare de replicare care permit copierea elementelor unei baze de date către una sau mai multe baze situate în mediul eterogen;
- instrumente specifice de extragere ce au ca dezavantaj un preţ foarte ridicat care va restricţiona utilizarea lor.
- pregătirea datelor presupune transformarea acestora într-o formă acceptată de Data Warehouse.
Aici se includ operaţiile de punere in corespondenţă a formatelor de afişare asociate datelor şi anume:
- încărcarea datelor ca ultimă fază a procesului de alimentare;
- stocarea datelor în sistemul de gestiune a bazelor de date.
Partiţionarea fizica a tabelelor în unităţi de timp mai mici asigură facilităţi suplimentare de indexare, restructurare şi arhivare precum şi suporturi tehnice de stocare mai puţin costisitoare.
- modalităţile de acces se bazează în special pe tehnologiile nestructurate. Se orientează pe arhitecturile client-server pentru aplicaţiile tranzacţionate. Analiza devine astfel interactiva iar rezultatele cererilor curente influenţează adesea interogările următoare.
- infrastructurile
În cadrul Data Warehouse-ului se pot identifica două nivele:
- infrastructura tehnica care cuprinde componentele hardware si software;
- infrastructura operaţională care cuprinde ansamblul de proceduri si servicii pentru administrarea datelor şi exploatarea sistemului, funcţiile acestuia sunt de administrare, gestionare şi explorare a sistemului decizional.
- Caracteristicile unui proiect de tip data Warehouse
- Evoluţiile tehnologice recente
Tehnologiile client-server, sistemele deschise şi procedurile utilizate în sistemele bazate pe Data Warehouse au înregistrat evoluţii semnificative. Apar astfel noi sisteme informatice adaptate fiecărui utilizator. În ceea ce priveşte metodologia de punere în aplicaţie utilizatorul are la dispoziţie mai multe metode precum: metoda MERISSE şi information engineering.
- Legătura implicită cu strategia firmei
Putem spune că Data Warehouse fidelizează clientul în sensul că implică pe cât posibil utilizatori experimentaţi, proiectele de acest tip apropiindu-se astfel de strategia întreprinderii.
- Logica de ameliorare continuă
Data Warehouse evoluează în conformitate cu cerinţele utilizatorilor şi cu nevoile obiective ale întreprinderii, ameliorarea fiind destul de frecventă şi de imprevizibilă.
- Un nivel de maturitate diferit în funcţie de întreprindere
Data Warehouse vine în completarea achiziţiilor aferente procesului decizional fapt care permite firmelor să beneficieze de o organizare şi de metode de lucru verificate, în timp ce pentru alţi utilizatori domeniul este mai puţin cunoscut.
Realizarea unei Data Warehouse are la bază două principii:
- obiectivul este de a pune în aplicare un sistem de informare coerent şi pe deplin integrat, ci nu de a construi un sistem decizional izolat;
- acest sistem nu se construieşte printr-un singur bloc, ci se descompune în mai multe aplicaţii integrate.
De asemenea trebuie să evităm construirea unui număr de sisteme corespunzător necesităţilor decizionale, un sistem poate servi mai multor necesităţi.
Dacă nu se respectă această cerinţă se va limita valoarea informaţiilor conţinute de Data Warehouse, iar costul informatic va fi considerabil pentru că se gestionează un volum mare de date moştenite de la sistemele anterioare.
- Diferenţa între bazele de date operaţionale şi depozitele de date
Bazele de date operaţionale conţin date curente detaliate ce trebuie actualizate în condiţii de securitate şi servesc drept suport pentru luarea deciziilor curente. Aceste baze de date sprijină procesarea tranzacţiilor fapt pentru care necesită mecanisme de control ale concurenţei şi mecanisme de acoperire pentru a asigura consistenţa tranzacţiilor. În cadrul acestora trebuie să avem în vedere şi minimizarea redundanţelor.
Depozitele de date sunt concepute special pentru a sprijini luarea deciziilor. Au ca obiectiv regruparea datelor, agregarea şi sintetizarea lor, organizarea şi coordonarea informaţiilor provenite din surse diferite, integrarea şi stocarea acestora cu scopul de a da utilizatorilor finali o imagine adecvată ce permite găsirea rapidă a informaţiilor şi analiza eficace a acestora.
Interogările dintr-un depozit de date sunt mai complexe şi mai variate iar luarea deciziilor necesită date istorice, date care provin de la alte organizaţii sau informaţii din alte surse eterogene. În acest context datele operaţionale deşi abundente sunt departe a fi complete pentru luarea deciziilor.
- Riscurile asociate unui proiect Data Warehouse
- Riscurile organizaţionale care vizează structura echipei de dezvoltare cât şi cultura organizaţiei. Susţinătorul unui astfel de proiect trebuie să provină din zona conducerii strategice ci nu din zona IT.
- Riscurile tehnologice se referă la tehnologiile selectate pentru planificarea şi folosirea depozitului de date. De aceea trebuie evitată folosirea unor tehnologii neconforme şi de slabă calitate.
- Riscurile legate de managementul proiectelor care apar din cauza resurselor insuficiente şi a complexităţii crescute a proiectului.
Unul dintre riscurile este definirea nerealistă a anvergurii proiectului. Multe proiecte au eşuat datorită subestimării timpului necesar pentru operaţii de extragere, integrare şi transformare a datelor.
- Riscuri legate de proiectarea depozitului de date pentru că tehnologia Data Warehouse necesită un set nou de tehnici de proiectare astfel încât depozitul de date să fie gândit ca un tot multidimensional ce conţine tabele, agregări, variabile.
- Tendinţe în tehnologia depozitelor de date
Dinamica dezvoltării acestor tehnologii are un trend ascendent impus de necesităţile mediului economic. Ca direcţii de evoluţie a depozitelor de date reţinem:
- creşterea ofertei de tehnologii de tip depozite de date;
- creşterea utilizării tehnologiei depozitelor de date în diferite;
- maturizarea tehnologiilor data mining;
- utilizarea pe scară largă a internetului pentru accesarea depozitelor de date de la distanţă ;
achiziţii şi fuziuni între firme pentru utilizarea Data Warehouse.