SAP DS (services de données) dans HANA

Qu'est-ce que les services de données SAP?

SAP Data Services est un outil ETL qui offre une solution unique au niveau de l'entreprise pour l'intégration des données, la transformation, la qualité des données, le profilage des données et le traitement des données texte de la source hétérogène vers une base de données cible ou un entrepôt de données.

Nous pouvons créer des applications (travail) dans lesquelles le mappage et la transformation des données peuvent être effectués à l'aide du Designer. (La dernière version de SAP BODS est 4.2).

Caractéristiques des services de données

Il fournit des transformations parallèles hautes performances.
Il dispose d'outils administratifs complets et d'un outil de reporting.
Il prend en charge les multi-utilisateurs.
SAP BODS est très flexible avec une application basée sur un service Web.
Il permet un langage de script avec de riches ensembles de fonctions.
Les services de données peuvent s'intégrer à SAP LT Replication Server (SLT), avec le
Technologie basée sur les déclencheurs. SLT ajoute des fonctionnalités delta à chaque table source SAP ou non SAP

Ce qui permet d'utiliser la capture de données pour le changement et de transférer les données delta de

la table Source.
Validation des données avec tableaux de bord et audit de processus.
Outil d'administration avec capacités de planification et surveillance / tableaux de bord.
Débogage et profilage intégré et affichage des données.
SAP BODS prend en charge une source et une cible étendues.
- Toutes les applications (par exemple SAP).
- Toutes les bases de données avec chargement en masse et capture de données modifiées
- Fichiers: largeur fixe, délimités par des virgules, COBOL, XML, Excel.

Composant des services de données

Les services SAP DATA ont un composant ci-dessous -

Designer - C'est un outil de développement par lequel nous pouvons créer, tester et exécuter un travail qui remplit un entrepôt de données.
Il permet au développeur de créer des objets et de les configurer en sélectionnant une icône dans un diagramme de flux source-cible.

Il peut être utilisé pour créer une application en spécifiant des workflows et des flux de données.

Pour ouvrir Data Service Designer, accédez au menu Démarrer -> Tous les programmes -> SAP Data Services (4.2 ici) -> Data Service Designer.

Job Server - Il s'agit d'une application qui lance le moteur de traitement des services de données et sert d'interface avec le moteur et la suite de services de données.
Le moteur Engine- Data Service exécute les travaux individuels définis dans l'application.
Référentiel - Le référentiel est une base de données qui stocke les objets prédéfinis du concepteur et les objets définis par l'utilisateur (métadonnées source et cible, règles de transformation).
Les référentiels sont de deux types -

Référentiel local (utilisé par le concepteur et le Job Server).
Référentiel central (utilisé pour le partage d'objets et le contrôle de version)

L' accès Serveur- accès au serveur transmet les messages entre les applications Web, serveur d'emplois de services de données et des moteurs.
Administrateur - L'administrateur Web fournit une administration basée sur un navigateur des détails des ressources des services de données comme ci-dessous -

Configuration, démarrage et arrêt des services en temps réel.
Planification, surveillance et exécution de travaux par lots.
Configuration de l'utilisation du Job Server, du serveur d'accès et du référentiel.
Gérer les utilisateurs.
Publication de travaux par lots et de services en temps réel via des services Web
Configuration et gestion des adaptateurs.

Architecture des services de données -

L'architecture des services de données comprend le composant suivant:

Référentiel central - il est utilisé pour les configurations de référentiels vers les serveurs de travaux, la gestion de la sécurité, le contrôle de version et le partage d'objets
Designer - Utilisé pour créer un projet, un travail, un flux de travail, un flux de données et une exécution.
Référentiel local (ici, vous pouvez créer des modifications et démarrer des travaux, un workflow, un flux de données).
Serveur et moteur de travaux - Il gère les travaux.
Serveur d'accès - Il est utilisé pour exécuter les travaux en temps réel créés par les développeurs dans les référentiels.

Dans l'image ci-dessous, les services de données et la relation entre les composants sont affichés.

Architecture SAP BODS

Détail de la fenêtre du concepteur: nous examinons d'abord le premier composant de SAP Data Service - Designer

Le détail de chaque section du concepteur de service de données est comme ci-dessous:

Barre d'outils (utilisée pour ouvrir, enregistrer, revenir en arrière, valider, exécuter, etc.).
Zone de projet (contient le projet actuel, qui comprend le Job, le Workflow et le Dataflow. Dans Data Services, toutes les entités sont des objets.
Espace de travail (la zone de la fenêtre d'application dans laquelle nous définissons, affichons et modifions des objets).
Bibliothèque d'objets locale (elle contient des objets de référentiel local, tels que des transformations, un travail, un flux de travail, un flux de données, etc.).
Palette d'outils (les boutons de la palette d'outils vous permettent d'ajouter de nouveaux objets à l'espace de travail).

Hiérarchie des objets

Le diagramme ci-dessous montre les relations hiérarchiques pour les types d'objets clés dans Data Services.

Noter:

Les flux de travail et conditionnels * sont facultatifs

Les objets utilisés dans le détail des services de données SAP sont les suivants:

Objets	Description
Projet	Un projet est un objet de plus haut niveau dans la fenêtre Designer. Les projets vous permettent d'organiser les autres objets que vous créez dans Data Services. Un seul projet est ouvert à la fois (où «ouvert» signifie «visible dans la zone du projet»).
Travail	Un «travail» est la plus petite unité de travail que vous pouvez planifier indépendamment pour une exécution.
Scripts	Un sous-ensemble de lignes dans une procédure.
Flux de travail	Un «flux de travail» est l'incorporation de plusieurs flux de données dans un flux de travail cohérent pour un travail entier. Le flux de travail est facultatif. Le workflow est une procédure. Appeler les flux de données Appeler un autre flux de travail Définissez l'ordre des étapes à exécuter dans votre travail Passer des paramètres vers et depuis les flux de données. Spécifiez comment gérer les erreurs qui se produisent pendant l'exécution. Définissez les conditions d'exécution des sections du projet.
Flux de données	Un «flux de données» est le processus par lequel les données source sont transformées en données cibles. Un flux de données est un objet réutilisable. Il est toujours appelé à partir d'un flux de travail ou d'un travail. Identifiez les données source que vous souhaitez lire. Définissez les transformations que vous souhaitez effectuer sur les données. Identifiez la table cible dans laquelle vous souhaitez charger les données.
Magasin de données	Canal logique qui connecte les services de données aux bases de données source et cible de la banque de données. Doit être spécifié pour chaque base de données source et cible. Sont utilisés pour importer des métadonnées pour les bases de données source et cible dans le référentiel Sont utilisés par Data Services pour lire les données des tables source et charger les tables cible de datato
Cibler	Table ou fichier dans lequel Data Services charge les données à partir de la source.

Exemple de services de données en chargeant des données à partir de la table source SAP

Tout dans les services de données est un objet. Nous devons séparer le magasin de données pour chaque base de données source et cible.

Étapes de chargement des données à partir de la table source SAP - SAP BODS comporte de nombreuses étapes, dans lesquelles nous devons créer un magasin de données pour la source et la cible et les mapper.

Créer un magasin de données entre la source et le BODS
Importez les métadonnées (Structures) dans BODS.
Configurer le serveur d'importation
Importez les métadonnées dans le système HANA.
Créez un magasin de données entre BODS et HANA.
Créer un projet.
Créer une tâche (par lots / en temps réel)
Créer un flux de travail
Créer un flux de données
Ajouter un objet dans Dataflow
Exécuter le travail
Vérifiez l'aperçu des données dans HANA

Étape 1) Créer un magasin de données entre SAP Source et BODS

Pour charger des données de SAP Source vers SAP HANA via SAP BODS, nous avons besoin d'un magasin de données. Nous créons donc d'abord un magasin de données comme indiqué ci-dessous -
Projet -> Nouveau -> Data Store
Une fenêtre contextuelle pour Créer un nouveau magasin de données apparaîtra, entrez les détails comme ci-dessous -
1. Entrez le nom du magasin de données "ds_ecc".
2. Sélectionnez le nom du type de magasin de données comme "Applications SAP".
3. Entrez le nom du serveur de base de données
4. Nom d'utilisateur et mot de passe.
5. Cliquez sur le bouton "Appliquer".
6. Cliquez sur le bouton "OK".
Le magasin de données sera créé et affichera le magasin de données créé comme ci-dessous.

Aller à la bibliothèque d'objets locale
Sélectionnez l'onglet DataStore.
Le magasin de données "ds_ecc" sera affiché.

Étape 2) Importez les métadonnées (structure) vers le serveur BODS.

Nous avons créé un magasin de données pour ECC à BODS; maintenant, nous importons des métadonnées d'ECC dans BODS. Pour importer, suivez les étapes ci-dessous -

Sélectionnez Datastore "ds_ecc" et faites un clic droit.
Sélectionnez l'option Importer par nom.

Une fenêtre contextuelle pour Importer par nom s'affiche. Entrez les détails comme ci-dessous -
1. Sélectionnez Type comme tableau.
2. Entrez le nom de la table que nous voulons importer. Ici, nous importons la table KNA1.
3. Cliquez sur le bouton "Importer". La table KNA1 apparaîtra sous le nœud de table de la source de données "ds_ecc".

Les métadonnées de la table seront importées, dans la banque de données ds_ecc comme ci-dessous -

Étape 3) Configurer le serveur d'importation

Jusqu'à présent, nous avons importé la table dans les données stockées "ds_ecc" créées pour ECC vers SAP BODS Connection. Pour importer des données dans SAP HANA, nous devons configurer le serveur d'importation,

Pour ce faire, allez dans Aperçu rapide-> Configurer le serveur d'importation comme ci-dessous -
Une fenêtre contextuelle pour sélectionner le système apparaîtra, sélectionnez le système SAP HANA (HDB ici) comme ci-dessous-

Cliquez sur le bouton "Suivant". Une autre fenêtre contextuelle pour les informations d'identification du service de données apparaîtra, entrez les détails suivants

Adresse du serveur SAP BODS (ici BODS: 6400)
Entrez le nom du référentiel SAP BODS (nom du référentiel HANAUSER)
Entrez la source de données ODBC (ZTDS_DS).
Entrez le port par défaut pour le serveur SAP BODS (8080).

Cliquez sur le bouton "Terminer".

Étape 4) Importez les métadonnées dans le système HANA

1. Jusqu'à présent, nous avons configuré le serveur d'importation, nous allons maintenant importer les métadonnées du serveur SAP BODS.

Cliquez sur l'option Importer dans la vue rapide.
Une fenêtre contextuelle pour l'option d'importation s'affiche. Sélectionnez l'option "Importation sélective de métadonnées".

Cliquez sur le bouton "Suivant".

2. Une fenêtre contextuelle pour «Importation sélective de métadonnées» s'affiche, dans laquelle nous sélectionnons le système cible.

Sélectionnez SAP HANA System (HDB ici).

Cliquez sur le bouton "Suivant".

Étape 5) Créer un magasin de données entre BODS et HANA

Comme nous le savons, dans BODS, nous devons créer une banque de données distincte pour la source et la cible. Nous avons déjà créé un magasin de données pour la source, nous devons maintenant créer un magasin de données pour la cible (entre BODS et HANA). Nous créons donc un nouveau magasin de données avec le nom "DS_BODS_HANA".

Allez dans Projet -> Nouveau -> Datastore.

Un écran pour Créer une nouvelle banque de données apparaîtra comme ci-dessous.
1. Entrez le nom de la banque de données (DS_BODS_HANA).
2. Entrez le type de banque de données comme base de données.
3. Entrez le type de base de données comme SAP HANA.
4. Sélectionnez la version de la base de données.
5. Entrez le nom du serveur de base de données SAP HANA.
6. Entrez le nom de port pour la base de données SAP HANA.
7. Entrez le nom d'utilisateur et le mot de passe.
8. Cochez "Activer le transfert automatique des données".

Cliquez sur "Appliquer" puis sur le bouton "OK".

Le magasin de données "DS_BODS_HANA" sera affiché sous l'onglet magasin de données de la bibliothèque d'objets locale comme

En dessous de-

Maintenant, nous importons la table dans le magasin de données "DS_BODS_HANA".
1. Sélectionnez le magasin de données "DS_BODS_HANA" et faites un clic droit.
2. Sélectionnez Importer par nom.

Une fenêtre contextuelle pour Importer par nom apparaîtra comme ci-dessous:
1. Sélectionnez Type comme tableau.
2. Entrez le nom comme KNA1.
3. Le propriétaire sera affiché comme Hanauser.
4. Cliquez sur le bouton Importer.

La table sera importée dans la banque de données "DS_BOD_HANA", pour afficher les données dans la table, suivez les étapes ci-dessous -

Cliquez sur la table "KNA1" dans le magasin de données "DS_BODS_HANA".
Les données seront affichées au format TABULAIRE.

Étape 6) Définissez le projet: groupe de projets et organisez les objets associés. Le projet peut contenir n'importe quel nombre de travaux, de flux de travail et de flux de données.

Accédez au menu Projet Designer.
Sélectionnez une nouvelle option.
Sélectionnez l'option Projet.

Un POP-UP pour la création d'un nouveau projet apparaît comme ci-dessous. Entrez le nom du projet et cliquez sur le bouton Créer. Cela créera un dossier de projet dans notre cas BODS_DHK.

Étape 7) Définir le Job: Un Job est un objet réutilisable. Il contient des flux de travail et des flux de données. Les travaux peuvent être exécutés manuellement ou sous forme de planification. Pour exécuter le processus BODS, nous devons définir le travail.

Nous créons un Job en tant que JOB_Customer.

Sélectionnez le projet (BODS_DHK) créé à l'étape 1, cliquez avec le bouton droit de la souris et sélectionnez «Nouveau travail par lots».
Renommez-le en "JOB_Customer".

Étape 8) Définissez le flux de travail:

Sélectionnez Job "JOB_Customer" dans la zone de projet,
Cliquez sur le bouton de flux de travail dans la palette d'outils. Cliquez sur la zone Black Workspace. Une icône de flux de travail apparaîtra dans l'espace de travail.
Changez le nom du workflow en "WF_Customer".

Cliquez sur le nom du workflow, une vue vide du workflow apparaît dans l'espace de travail.

Étape 9) Définissez Dataflow:

Cliquez sur Workflow "WF_Customer".
Cliquez sur le bouton Dataflow dans la palette d'outils. Cliquez sur la zone Black Workspace. Une icône Dataflow apparaîtra dans l'espace de travail.
Changez le nom du Dataflow en "DF_Customer".
Le flux de données apparaît également dans la zone de projet sur la gauche sous le nom du travail.

Étape 10) Ajouter un objet dans Dataflow:

Dans le flux de données, nous pouvons fournir des instructions pour transformer les données source dans la forme souhaitée pour la table cible.

Nous verrons ci-dessous l'objet -

Un objet pour la source.
Un objet pour la table cible.
Un objet pour la transformation de requête. (La transformation de requête mappe les colonnes de la source à la cible.)
Cliquez sur le flux de données DF_Customer. Un espace de travail vide apparaîtra comme ci-dessous -

Spécifiez l'objet de la source - Accédez au magasin de données "ds_ecc" et sélectionnez la table KNA1 et faites glisser et déposez sur l'écran vide du flux de données comme ci-dessous
Spécifiez l'objet pour la cible - Sélectionnez le magasin de données "DS_BODS_HANA" dans le référentiel et sélectionnez la table KNA1.
Glissez-déposez dans l'espace de travail et sélectionnez l'option "Créer une cible". Il y aura deux tables pour la source et la cible. Ici, nous définirons la table comme source et cible.

Transformation de requête - Il s'agit d'un outil utilisé pour récupérer des données en fonction du schéma d'entrée pour la condition spécifique de l'utilisateur et pour le transport des données de la source à la cible.
1. Sélectionnez l'icône Transformation de requête dans la palette d'outils, puis faites-la glisser et déposez-la entre l'objet source et l'objet cible dans l'espace de travail comme ci-dessous -
2. Lier l'objet de requête à la source.
3. Lier l'objet de requête à la table cible.
1. Double-cliquez sur l'icône de requête. Par cela, nous mappons une colonne du schéma d'entrée au schéma de sortie.

Lorsque nous cliquons sur l'icône de requête, une fenêtre suivante pour le mappage apparaîtra, dans laquelle nous effectuons les étapes suivantes -

La table source KNA1 est sélectionnée.
Sélectionnez toutes les colonnes de la table source et cliquez avec le bouton droit de la souris et sélectionnez une carte à afficher.
Sortie cible sélectionnée comme requête, et la colonne sera mappée.

5. Enregistrez et validez le projet.

1. Cliquez sur l'icône de validation.

2. Une fenêtre contextuelle indiquant le succès de la validation apparaît.

Étape 11) Exécuter la tâche - Pour exécuter la tâche, suivez le chemin ci-dessous -

Sélectionnez l'icône de la zone de projet pour ouvrir le projet et sélectionnez le projet créé.
Sélectionnez Job et faites un clic droit.
Sélectionnez l'option Exécuter pour exécuter le Job.
1. Après l'exécution du travail, une fenêtre Journal des travaux s'affiche, dans laquelle tous les messages concernant le travail seront affichés.
2. Le dernier message sera que Job <> est terminé avec succès.
Étape 12) - Valider / vérifier les données dans la base de données SAP HANA.
1. Connectez-vous à la base de données SAP HANA via SAP HANA Studio et sélectionnez le schéma HANAUSER.
2. Sélectionnez la table KNA1 dans le nœud Table.
3. Cliquez avec le bouton droit sur la table KNA1 et sélectionnez Open Data Preview.
4. Tableau (KNA1) Les données chargées par les processus BODS comme ci-dessus seront affichées dans l'écran d'aperçu des données.