Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Laboratoire IRIT - Pôle SIG INSTITUT DE RECHERCHE EN INFORMATIQUE DE TOULOUSE C

Laboratoire IRIT - Pôle SIG INSTITUT DE RECHERCHE EN INFORMATIQUE DE TOULOUSE Centre National de la Recherche Scientifique (UMR 5505) - Institut National Polytechnique - Université Paul Sabatier Université Paul Sabatier, 118 route de Narbonne, 31062 Toulouse cedex 04, Tel. 05.61.55.66.11 THESE présentée devant l'UNIVERSITE PAUL SABATIER DE TOULOUSE (SCIENCES) en vue de l'obtention du DOCTORAT DE L'UNIVERSITE PAUL SABATIER Spécialité : INFORMATIQUE par Olivier TESTE Modélisation et manipulation d'entrepôts de données complexes et historisées Soutenue le 18 décembre 2000 devant le jury composé de : C. Cauvet Professeur à l'Université Aix-Marseille III, rapporteur C. Chrisment Professeur à l'Université Toulouse III A. Flory Professeur à l'INSA de Lyon, rapporteur J. Luguet Professeur à l'Université Toulouse III E. Métais Professeur au CNAM de Paris, rapporteur F. Ravat Maître de Conférences à l'Université Toulouse I G. Zurfluh Professeur à l'Université Toulouse I, directeur de thèse à mes parents REMERCIEMENTS Je tiens à exprimer toute ma reconnaissance à Messieurs Claude Chrisment, Jacques Luguet et Gilles Zurfluh, pour m’avoir accueilli au sein de leur équipe. Je les remercie et tiens à leur assurer ma profonde gratitude. Je tiens à remercier très sincèrement l’ensemble des membres du jury qui me font le grand honneur d’avoir accepté de juger mon travail. Je remercie Madame Corinne Cauvet, Professeur à l’Université d’Aix-Marseille III, pour l’honneur qu’elle me fait en acceptant d’être rapporteur de mon travail et pour ses remarques qui ont permis d’améliorer la qualité de ce mémoire. Je tiens à lui exprimer mes remerciements pour l’honneur qu’elle me fait en participant à ce jury. Je remercie Madame Elisabeth Métais, Professeur au CNAM de Paris, pour l’honneur qu’elle me fait en acceptant d’être rapporteur de mes travaux et pour ses observations qui ont contribué à améliorer ce mémoire. Je tiens également à la remercier pour l’honneur qu’elle me fait en participant à ce jury. Je remercie Monsieur André Flory, Professeur à l’INSA de Lyon, pour avoir accepté d’être rapporteur de mes recherches et pour ses remarques qui m’ont permis d’améliorer la qualité de ce mémoire. Je tiens à lui exprimer mes remerciements pour l’honneur qu’il me fait en participant à ce jury. Je remercie Monsieur Gilles Zurfluh, Professeur à l’Université Toulouse I et directeur de ma thèse, pour toute la confiance qu’il m’a témoignée tout au long de ces années et sa constante disponibilité. Ses remarques constructives ont contribué à améliorer les travaux de recherche présentés dans ce mémoire. Qu’il soit ici assuré de ma profonde gratitude et de mon très grand respect. Je remercie Monsieur Franck Ravat, Maître de Conférences à l’Université Toulouse I, pour son soutien et sa collaboration de tous les instants. Son aide et sa disponibilité ainsi que ses précieuses remarques ont grandement contribué à améliorer la qualité de ce mémoire. Qu’il trouve donc ici l’assurance de ma profonde gratitude. Je tiens à souligner également ses qualités humaines qui ont contribué à tisser des liens d’amitié entre nous. Je remercie Monsieur Claude Chrisment, Professeur à l’Université Toulouse III, pour l’intérêt qu’il a porté à mes travaux en examinant ce mémoire, pour ses conseils ainsi que pour l’honneur et le plaisir qu’il me fait en participant à ce jury. Je remercie Monsieur Jacques Luguet, Professeur à l’Université Toulouse III, pour avoir examiné mon travail ainsi que pour l’honneur et le plaisir qu’il me fait en participant à ce jury. Je remercie l’ensemble des participants au projet REANIMATIC qui ont mis à ma disposition des moyens matériels. En particulier, je tiens à exprimer mes sincères remerciements au Professeur Sylviane Schwer pour toute l’aide qu’elle m’a apportée et dont les nombreuses discussions m’ont permis d’améliorer mes travaux de recherches. Je remercie aussi les personnes du CTi-Sud qui m’ont accueilli dans leur société, qui ont mis à ma disposition des moyens matériels et qui m’ont permis d’avoir un champ d’application pour mes recherches. Je voudrais remercier tous mes amis et collègues de l’équipe SIG du laboratoire IRIT pour leur aide, leur soutien et leur gentillesse. J’exprime en particulier ma gratitude à Chantal, Christine, Florence, Josiane, Eric, Gilles et Moh pour toute l’aide qu’ils m’ont accordé. Je remercie aussi Max, Fred, Xavier, Farshad et Philippe pour leur aide et leur amitié. Mes remerciements vont également à Faiza et à tous les autres membres de l’équipe. Je remercie les membres du CERISS et de l’UT1 qui m’ont accueilli cette année. Je voudrais également exprimer mes remerciements aux personnes extérieures au monde universitaire qui m’ont soutenu. En particulier, je remercie tous mes amis avec lesquels j’ai passé des moments inoubliables… Je remercie tout particulièrement mes parents qui m’ont toujours soutenu et qui m’ont permis de mener à bien mes études. Je tiens à remercier également ma sœur Isabelle qui m’a supporté de nombreuses années. Enfin, je souhaite remercier celle qui me supporte encore. SOMMAIRE Table des matières INTRODUCTION................................................................................1 CHAPITRE I : ETAT DE L'ART ET PROPOSITIONS................5 1 INTRODUCTION........................................................................................................................................5 2 LES CONCEPTS DE BASE .......................................................................................................................5 2.1 SYSTÈMES OLTP VERSUS SYSTÈMES OLAP..............................................................................................5 2.2 SYSTÈMES DÉCISIONNELS ..........................................................................................................................6 2.3 ENTREPÔTS ET MAGASINS DE DONNÉES .....................................................................................................7 2.4 MODÉLISATION MULTIDIMENSIONNELLE ...................................................................................................8 2.4.1 Modélisation conceptuelle...............................................................................................................9 2.4.1.1 Concept de fait ..........................................................................................................................................10 2.4.1.2 Concept de dimension...............................................................................................................................10 2.4.1.3 Modèles en étoile, en flocon et en constellation........................................................................................11 2.4.2 Modélisation logique.....................................................................................................................13 2.4.2.1 ROLAP et OOLAP ...................................................................................................................................13 2.4.2.2 MOLAP ....................................................................................................................................................14 2.5 SYNTHÈSE................................................................................................................................................15 3 ETAT DE L'ART SUR LES ENTREPÔTS ET LES MAGASINS DE DONNÉES.............................15 3.1 DIFFÉRENTS AXES DE RECHERCHES .........................................................................................................15 3.2 TRAVAUX SUR LES VUES MATÉRIALISÉES ................................................................................................16 3.2.1 Recherches sur la maintenance incrémentale................................................................................17 3.2.2 Recherches sur la configuration....................................................................................................19 3.2.3 Travaux connexes ..........................................................................................................................20 3.3 TRAVAUX SUR L'APPROCHE MULTIDIMENSIONNELLE...............................................................................21 3.3.1 Manipulation des données multidimensionnelles ..........................................................................21 3.3.1.1 Visualisation des données multidimensionnelles ......................................................................................21 3.3.1.2 Opérations classiques................................................................................................................................22 3.3.1.3 Opérations agissant sur la structure...........................................................................................................22 3.3.1.4 Opérations agissant sur la granularité........................................................................................................23 3.3.2 Recherches sur la modélisation multidimensionnelle....................................................................23 3.4 GRANDS PROJETS DE RECHERCHE ............................................................................................................25 3.4.1 DWQ..............................................................................................................................................25 3.4.2 SIRIUS...........................................................................................................................................25 3.4.3 Squirrel..........................................................................................................................................26 3.4.4 TSIMMIS........................................................................................................................................26 3.4.5 WHIPS ...........................................................................................................................................27 3.4.6 Bilan ..............................................................................................................................................27 3.5 OFFRE COMMERCIALE ORACLE EXPRESS.................................................................................................28 3.5.1 Création du schéma de la base Express ........................................................................................29 3.5.1.1 Dimensions ...............................................................................................................................................29 3.5.1.2 Relations ...................................................................................................................................................29 3.5.1.3 Variables, Formules ..................................................................................................................................30 3.5.2 Importation des données de la source vers la base Express..........................................................30 3.5.2.1 Importation des valeurs des dimensions....................................................................................................31 3.5.2.2 Création des hiérarchies des dimensions...................................................................................................31 3.5.2.3 Création des relations entre les dimensions et leurs attributs ....................................................................32 3.5.2.4 Importation des variables ..........................................................................................................................32 3.5.3 Manipulation de la base Express...................................................................................................33 3.5.4 Bilan ..............................................................................................................................................34 3.6 SYNTHÈSE................................................................................................................................................35 4 ETAT DE L'ART SUR L'ÉVOLUTION DES DONNÉES....................................................................35 4.1 BASES DE DONNÉES TEMPORELLES ..........................................................................................................35 4.1.1 Modèles temporels.........................................................................................................................36 4.1.2 Langages temporels.......................................................................................................................38 4.1.3 Bilan ..............................................................................................................................................38 4.2 BASES DE DONNÉES INTÉGRANT LES VERSIONS........................................................................................39 4.2.1 Modélisation et manipulation des versions....................................................................................39 4.2.2 Bilan ..............................................................................................................................................41 4.3 SYNTHÈSE................................................................................................................................................41 5 NOTRE PROPOSITION ..........................................................................................................................41 5.1 CONTEXTE DES TRAVAUX ........................................................................................................................41 5.2 CADRES D'APPLICATIONS .........................................................................................................................42 5.2.1 CTI-Sud..........................................................................................................................................42 5.2.2 REANIMATIC................................................................................................................................43 5.3 OBJECTIF..................................................................................................................................................43 5.4 INSUFFISANCES DES APPROCHES ACTUELLES ...........................................................................................44 5.5 ORIENTATIONS DE RECHERCHE................................................................................................................44 5.5.1 Distinction de l'entrepôt des magasins de données .......................................................................45 5.5.2 Notre architecture du système décisionnel ....................................................................................46 5.5.3 Eléments de notre recherche .........................................................................................................47 CHAPITRE II : UN MODÈLE DE REPRÉSENTATION OBJET POUR UN ENTREPÔT DE DONNÉES ÉVOLUTIVES..............49 1 INTRODUCTION À LA MODÉLISATION CONCEPTUELLE DES ENTREPÔTS.......................49 1.1 OBJECTIF..................................................................................................................................................49 1.2 EXISTANT.................................................................................................................................................51 1.3 PROPOSITION ...........................................................................................................................................51 2 OBJET ENTREPÔT .................................................................................................................................52 2.1 DÉFINITION DES OBJETS ET DES ÉTATS.....................................................................................................52 2.2 TEMPS ET DOMAINE TEMPOREL................................................................................................................54 2.2.1 Modèle temporel linéaire discret...................................................................................................54 2.2.2 Types temporels .............................................................................................................................56 2.2.2.1 Durée.........................................................................................................................................................56 2.2.2.2 Instant........................................................................................................................................................56 2.2.2.3 Intervalle ...................................................................................................................................................57 2.2.2.4 Domaine temporel.....................................................................................................................................57 2.3 STATUTS DES OBJETS ENTREPÔT ..............................................................................................................58 2.4 RAFRAÎCHISSEMENT DES OBJETS ENTREPÔT.............................................................................................59 2.5 SYNTHÈSE................................................................................................................................................59 3 CLASSE ENTREPÔT...............................................................................................................................59 3.1 DÉFINITION DES CLASSES ENTREPÔT........................................................................................................59 3.2 TAXONOMIE DES PROPRIÉTÉS ET DES OPÉRATIONS...................................................................................60 3.3 FILTRES TEMPORELS ET D'ARCHIVES........................................................................................................62 3.4 SYNTHÈSE................................................................................................................................................64 4 ENVIRONNEMENT ET ENTREPÔT....................................................................................................65 4.1 DÉFINITION DES ENVIRONNEMENTS .........................................................................................................65 4.2 CONFIGURATION DES ENVIRONNEMENTS.................................................................................................66 4.3 GRANULARITÉS D'HISTORISATION............................................................................................................67 4.3.1 Granularité classe .........................................................................................................................67 4.3.2 Granularité attribut .......................................................................................................................68 4.3.3 Granularité ensemble ....................................................................................................................68 4.4 DÉFINITION D'UN ENTREPÔT.....................................................................................................................69 4.5 EXEMPLE COMPLET..................................................................................................................................70 4.6 SYNTHÈSE................................................................................................................................................73 5 CONCLUSION ..........................................................................................................................................73 CHAPITRE III : PROCESSUS D'ÉLABORATION D'ENTREPÔTS PAR EXTRACTIONS .........................................75 1 INTRODUCTION À L'ÉLABORATION D'ENTREPÔTS ..................................................................75 1.1 OBJECTIF..................................................................................................................................................75 1.2 EXISTANT.................................................................................................................................................75 1.3 PROPOSITION ...........................................................................................................................................76 2 DÉFINITION DE L'ASPECT STATIQUE DES CLASSES ENTREPÔT...........................................77 2.1 PRINCIPE DE L'EXTRACTION DES DONNÉES...............................................................................................77 2.2 OPÉRATIONS DE STRUCTURATION (FS)....................................................................................................79 2.2.1 Projection et masquage .................................................................................................................79 2.2.2 Accroissement................................................................................................................................80 2.3 OPÉRATIONS DE QUALIFICATION (FQ) .....................................................................................................81 2.3.1 Sélection ........................................................................................................................................81 2.3.2 Jointure..........................................................................................................................................82 2.3.3 Groupement ...................................................................................................................................82 2.3.4 Dégroupement ...............................................................................................................................83 2.4 OPÉRATIONS ENSEMBLISTES (FE)............................................................................................................84 2.4.1 Union.............................................................................................................................................84 2.4.2 Intersection....................................................................................................................................84 2.4.3 Différence ......................................................................................................................................85 2.5 OPÉRATIONS DE HIÉRARCHISATION (FH).................................................................................................85 2.5.1 Généralisation ...............................................................................................................................85 2.5.2 Spécialisation ................................................................................................................................86 2.6 TRAITEMENT DES HIÉRARCHIES EXISTANTES ...........................................................................................87 2.7 TRAITEMENT DES AMBIGUÏTÉS DE DÉFINITION DES RELATIONS D'ASSOCIATION ET DE COMPOSITION ......88 2.8 EXEMPLE COMPLET..................................................................................................................................89 2.9 SYNTHÈSE................................................................................................................................................90 3 DÉFINITION DE L'ASPECT DYNAMIQUE DES CLASSES ENTREPÔT......................................91 3.1 OPÉRATION DÉRIVABLE ...........................................................................................................................91 3.2 MATRICES D'USAGE .................................................................................................................................92 3.3 MATRICES DES PROPRIÉTÉS (MUP) .........................................................................................................93 3.3.1 Construction des MUP ..................................................................................................................93 3.3.2 Analyse des MUP...........................................................................................................................94 3.3.3 Description des MUP de l'exemple complet ..................................................................................94 3.4 MATRICE DES OPÉRATIONS (MUO)..........................................................................................................97 3.4.1 Construction de la MUO ...............................................................................................................97 3.4.2 Analyse de la MUO........................................................................................................................98 3.4.3 Description de la MUO de l'exemple complet ...............................................................................99 3.5 DÉFINITION DU COMPORTEMENT..............................................................................................................99 3.6 SYNTHÈSE..............................................................................................................................................101 4 CONCLUSION ........................................................................................................................................101 CHAPITRE IV : UN LANGAGE DE MANIPULATION DES DONNÉES DE L'ENTREPÔT...................................................... 103 1 INTRODUCTION À LA MANIPULATION DES OBJETS DANS L'ENTREPOT.........................103 1.1 OBJECTIF................................................................................................................................................103 1.2 EXISTANT...............................................................................................................................................103 1.3 PROPOSITION .........................................................................................................................................104 2 ADAPTATION DES OPÉRATEURS OBJET À NOTRE MODÈLE ................................................104 2.1 OPÉRATEURS ENSEMBLISTES .................................................................................................................105 2.2 TRAITEMENTS SUR LES uploads/Litterature/integration-donnees-dwh-these-consacree-sur-le-sujet-olivier-teste.pdf