Traitement de données multi-sources
Introduction
Une démarche, des outils :
- Edigram possède une solide expérience de la réconciliation de bases de données acquise lors de travaux effectués pour le compte de ses clients Médiamétrie et Espaces TV.
- Edigram, à l'occasion de ces différents travaux a développé une démarche et des outils internes pour industrialiser et fiabiliser ces traitements.
- Edigram forte de ces acquis peut aujourd'hui proposer des prestations de qualité à des coûts extrêmement compétitifs.
1. Module d'import des données
Tâches indépendantes actionnées par lot
- Réception et qualification des fichiers
- Reconnaissance et contôle de la structure des fichiers
- Import des données
- Contrôle des données importées
Intéractions avec le système
- Annulation d'un import
- Envoi de courriel aux fournisseurs de données
- Accès à l'état du système, aux fichiers de log, aux résultats du contrôle, aux statistiques
1.1. Utilitaire d'accès aux données
- Lecture de fichier de tout format
- Reconnaissance de la structure d'un fichier parmis un ensemble de structure possible
- Contrôle de la lisibilité du fichier
- Description de la structure de tous les fichiers dans un fichier XML
- Utilitaire pour générer le fichier XML
1.2. Utilitaire de transformation et d'import
2. Module d'export des données
- Constitution d'une base centrale contenant l'ensemble des données à exporter
- Agrégation des données
- Génération des fichiers au format désiré
- Contrôle des fichiers
- Historisation des exports et de leurs contenus au moment de l'export
3. Module de gestion des droits
Définition des bases d'export en fonction des droits
- Filtrage sur le type de données ou le type de bases
- Période d'extraction (début, fin)
- Etc.
Définition de la stratégie d'export (planification, contenu minimel, etc.)
4. Module de planification des tâches
Définition
- des dates de réception des fichiers par base
- du délai de réception des fichiers
- du délai de traitement de l'import
- des stratégies d'export par destinataire des bases
Calcul dynamique
- Planning théorique de réception des fichiers
- Planning théorique d'export des bases
5. Module de gestion du suivi
Liste des tâches en cours
- Imports, exports et backups à effectuer
Listes des tâches en retard
- Fichiers non reçus, exports en retard
Indicateurs
- Récapitulatif de stêches à faire
- Planning des réceptions et des exports à venir
- Contenu des bases sources : période début, fin, « trous », données incomplètes
6. Module de reporting
Reporting des exports
- Contenu des exports
- Vision synthétique des probèmes rencontrés
Reporting de production
Reporting de facturation
- Mise à jour mensuelle, données d'historique
- Paramétrage de nouvelles bases sources, redesign de bases existantes
7. Module d'administration
Un arbre de tous les éléments du système qui permet :
- de visualiser tous les états du système et toutes les actions
- de lancer toutes les actions
- de visualiser tous les changements d'états
- de stocker les historiques des bases sources et des exports
Des backups automatiques et historisés
Un archivage sur cédérom des fichiers importés
