SAP DS (Data Services) in HANA

Wat is SAP Data-services?

SAP Data Services is een ETL-tool die een oplossing op bedrijfsniveau biedt voor data-integratie, transformatie, datakwaliteit, dataprofilering en tekstverwerking van de heterogene bron naar een doeldatabase of datawarehouse.

Met behulp van de Designer kunnen we applicaties (job) maken waarin datamapping en transformatie kan worden gedaan. (De nieuwste versie van SAP BODS is 4.2).

Kenmerken van gegevensservices

  • Het biedt krachtige parallelle transformaties.
  • Het heeft uitgebreide administratieve tools en rapportagetool.
  • Het ondersteunt meerdere gebruikers.
  • SAP BODS is zeer flexibel met op webservice gebaseerde applicaties.
  • Het maakt scripttaal mogelijk met uitgebreide sets functies.
  • Data Services kan worden geïntegreerd met SAP LT Replication Server (SLT), met de

    Op triggers gebaseerde technologie. SLT voegt delta-mogelijkheden toe aan elke SAP- of niet-SAP-brontabel

    Wat het mogelijk maakt om het vastleggen van gegevens te gebruiken voor verandering en het overdragen van de deltagegevens van

    de brontabel.

  • Gegevensvalidatie met dashboards en procesaudits.
  • Administratietool met planningsmogelijkheden en monitoring/dashboards.
  • Foutopsporing en ingebouwde profilering en weergave van gegevens.
  • SAP BODS-ondersteuning Brede bron en doel.
    • Alle toepassingen (bijv. SAP).
    • Alle databases met bulklading en gegevensvastlegging van wijzigingen
    • Bestanden: vaste breedte, door komma's gescheiden, COBOL, XML, Excel.

Onderdeel van gegevensservices

SAP DATA-services hebben onderstaande component:

  1. Ontwerper- Het is een ontwikkelingstool waarmee we een taak kunnen creëren, testen en uitvoeren die een datawarehouse vult.

    Hiermee kan de ontwikkelaar objecten maken en configureren door een pictogram in een bron-naar-doelstroomdiagram te selecteren.

    Het kan worden gebruikt om een ​​toepassing te maken door workflows en gegevensstromen op te geven.

    Om Data Service Designer te openen, gaat u naar: Startmenu -> Alle programma's -> SAP Data Services (4.2 hier) -> Data Service Designer.

  1. Job Server- Het is een applicatie die de dataservices-verwerkingsengine start en dient als interface voor de engine en Data Services Suite.
  2. Motor- Data Service-engine voert afzonderlijke taken uit die in de toepassing zijn gedefinieerd.
  3. Opslagplaats- Repository is een database waarin door ontwerpers vooraf gedefinieerde objecten en door de gebruiker gedefinieerde objecten worden opgeslagen (bron- en doelmetagegevens, transformatieregels).

    Repository zijn van twee soorten -

  • Lokale opslagplaats (Gebruikt door Designer en Job Server).
  • Centrale repository (Gebruikt voor het delen van objecten en versiebeheer)
  1. Toegangsserver- Toegangsserver geeft berichten door tussen webapplicaties, dataservices-jobserver en engines.
  2. Beheerder- Webbeheerder biedt browsergebaseerd beheer van gegevensservicebronnen, details zijn als volgt:
  • Realtime services configureren, starten en stoppen.
  • Het plannen, bewaken en uitvoeren van batchtaken.
  • Het gebruik van Job Server, Access Server en Repository configureren.
  • Gebruikers beheren.
  • Batchjobs en realtime services publiceren via webservices
  • Adapters configureren en beheren.

Architectuur dataservices –

Data Services-architectuur heeft de volgende component-

  • Centrale repository - het wordt gebruikt voor configuraties van repository's voor taakservers, beveiligingsbeheer, versiebeheer en het delen van objecten
  • Designer - Gebruikt voor het maken van een project, taak, workflow, gegevensstroom en uitvoeren.
  • Lokale repository (hier kunt u wijzigingen maken en taken starten, workflow, gegevensstroom).
  • Jobserver & engine – Het beheert de jobs.
  • Access Server - Het wordt gebruikt om de realtime taken uit te voeren die door ontwikkelaars in de repositories zijn gemaakt.

In onderstaande afbeelding wordt de relatie tussen Data Services en hun component weergegeven.

SAP BODS-architectuur

Ontwerper raamdetail: Eerst kijken we naar het eerste onderdeel van SAP-gegevensservice - Designer

Het detail van elke sectie van de dataserviceontwerper is als volgt:

  1. Werkbalk (Gebruikt voor Openen, Opslaan, Terug, Valideren, Uitvoeren, enz.).
  2. Projectgebied (Bevat het huidige project, dat Job, Workflow en Dataflow omvat. In Data Services zijn alle entiteiten objecten.
  3. Werkruimte (Het gebied van het toepassingsvenster waarin we objecten definiëren, weergeven en wijzigen).
  4. Lokale objectbibliotheek (Het bevat lokale repository-objecten, zoals transformaties, job, workflow, dataflow, enz.).
  5. Gereedschapspalet (Met de knoppen op het toolpalet kunt u nieuwe objecten aan de werkruimte toevoegen).

Objecthiërarchie

Het onderstaande diagram toont hiërarchische relaties voor de belangrijkste objecttypen binnen Data Services.

>

Opmerking:

Workflows en Voorwaardelijk* zijn optioneel

Objecten die worden gebruikt in SAP Data Services-details zijn als volgt:

Voorwerpen Beschrijving
Project Een project is een object op het hoogste niveau in het Designer-venster. Projecten bieden u een manier om de andere objecten die u in Data Services maakt, te ordenen. Er is slechts één project tegelijk geopend (waar 'open' betekent 'zichtbaar in het projectgebied').
Functie Een 'klus' is de kleinste werkeenheid die je zelfstandig kunt plannen voor uitvoering.
Scripts Een subset van regels in een procedure.
Werkstroom Een 'workflow' is het samenbrengen van meerdere datastromen in een coherente werkstroom voor een hele baan. Werkstroom is optioneel. Workflow is een procedure.

  • Oproepgegevensstromen
  • Bel een andere workflow
  • Definieer de volgorde van de stappen die in uw taak moeten worden uitgevoerd
  • Geef parameters door van en naar gegevensstromen.
  • Geef op hoe fouten moeten worden afgehandeld die tijdens de uitvoering optreden.
  • Definieer voorwaarden voor het uitvoeren van delen van het project.
Informatiestroom Een 'dataflow' is het proces waarbij brongegevens worden omgezet in doelgegevens. Een gegevensstroom is een herbruikbaar object. Het wordt altijd aangeroepen vanuit een workflow of een job.

  • Identificeer de brongegevens die u wilt lezen.
  • Definieer de transformaties die u op de gegevens wilt uitvoeren.
  • Identificeer de doeltabel waarnaar u gegevens wilt laden.
Gegevensopslag Logisch kanaal dat Data Services verbindt met bron- en Datastore-doeldatabases.

  • Moet worden opgegeven voor elke bron- en doeldatabase.
  • Worden gebruikt om metadata voor bron- en doeldatabases in de opslagplaats te importeren
  • Worden gebruikt door Data Services om gegevens uit brontabellen te lezen en gegevens naar doeltabellen te laden
Doelwit Tabel of bestand waarin Data Services gegevens uit de bron laadt.

Voorbeeld van gegevensservices door gegevens uit SAP-brontabel te laden

Alles in Dataservices is een object. We moeten de gegevensopslag scheiden voor elke bron- en doeldatabase.

Stappen voor het laden van gegevens uit de SAP-brontabel - SAP BODS heeft veel stappen, waarin we een gegevensopslag voor bron en doel moeten maken en hieraan moeten koppelen.

  • Gegevensopslag maken tussen bron en BODS
  • Importeer de metadata (structuren) naar BODS.
  • Importserver configureren
  • Importeer de metagegevens naar het HANA-systeem.
  • Maak een gegevensopslag tussen BODS en HANA.
  • Project maken.
  • Taak maken (batch/realtime)
  • Werkstroom maken
  • Gegevensstroom maken
  • Object toevoegen in Dataflow
  • Voer de taak uit
  • Controleer het gegevensvoorbeeld in HANA

Stap 1) Gegevensopslag maken tussen SAP Source en BODS

  1. Om gegevens van SAP Source naar SAP HANA te laden via SAP BODS, hebben we een gegevensopslag nodig. Dus we maken eerst een gegevensopslag zoals hieronder weergegeven -

    Project -> Nieuw -> Gegevensopslag

  2. Er verschijnt een pop-up voor Nieuwe gegevensopslag maken, voer details in zoals hieronder -
    1. Voer de gegevensopslagnaam 'ds_ecc' in.
    2. Selecteer Naam gegevensopslagtype als 'SAP-toepassingen'.
    3. Voer de naam van de databaseserver in
    4. Gebruikersnaam en wachtwoord.
    5. Klik op de knop 'Toepassen'.
    6. Klik op de knop 'OK'.

  3. Data Store wordt gemaakt en bekijk de gemaakte datastore zoals hieronder-
  1. Ga naar Local Object Library
  2. Selecteer het tabblad Gegevensopslag.
  3. Gegevensopslag 'ds_ecc' wordt weergegeven.

Stap 2) Metadata (structuur) importeren naar BODS-server.

We hebben een gegevensopslag gemaakt voor ECC to BODS; nu importeren we metadata van ECC in BODS. Volg onderstaande stappen om te importeren -

  1. Selecteer Datastore 'ds_ecc' en klik met de rechtermuisknop.
  2. Selecteer de optie Importeren op naam.

    Er wordt een pop-up voor Importeren op naam weergegeven. Voer details in zoals hieronder -

    1. Selecteer Type als tabel.
    2. Voer de naam van de tabel in die we willen importeren. Hier importeren we de KNA1-tabel.
    3. Klik op de knop 'Importeren'. KNA1-tabel verschijnt onder tabelknooppunt van gegevensbron 'ds_ecc'.

Tabelmetadata worden geïmporteerd, in datastore ds_ecc zoals hieronder -

Stap 3) Importserver configureren

Tot nu toe hebben we een tabel geïmporteerd naar gegevens die zijn opgeslagen 'ds_ecc' gemaakt voor ECC naar SAP BODS Connection. Om gegevens in SAP HANA te importeren, moeten we de importserver configureren,

  1. Ga hiervoor naar Snelle weergave-> Importserver configureren zoals hieronder -

  2. Er verschijnt een pop-up voor Selecteer systeem, selecteer SAP HANA (HDB hier) systeem zoals hieronder-

  1. Klik op de knop 'Volgende'. Er verschijnt nog een pop-up voor gegevensservicereferenties, voer de volgende details in:
  1. SAP BODS-serveradres (hier BODS:6400)
  2. Voer de SAP BODS-repositorynaam in (HANAUSER-repositorynaam)
  3. Voer de ODBC-gegevensbron in (ZTDS_DS).
  4. Voer de standaardpoort in voor SAP BODS-server (8080).

Klik op de knop 'Voltooien'.

Stap 4) Importeer de metadata naar HANA System

1. Tot nu toe hebben we een geconfigureerde importserver, nu zullen we metadata importeren van de SAP BODS-server.

  1. Klik op de optie Importeren in Snelle weergave.
  2. Er wordt een pop-up voor de optie Importeren weergegeven. Selecteer de optie 'Selectieve import van metagegevens'.

Klik op de knop 'Volgende'.

2. Er verschijnt een pop-up voor 'Selective Import of Metadata', waarin we doelsysteem selecteren.

  1. Selecteer SAP HANA-systeem (HDB hier).

Klik op de knop 'Volgende'.

Stap 5) Gegevensopslag maken tussen BODS en HANA

Zoals we weten, moeten we in BODS een aparte datastore maken voor bron en doel. We hebben al een gegevensarchief voor de bron gemaakt, nu moeten we een gegevensarchief maken voor het doel (tussen BODS en HANA). We maken dus een nieuwe gegevensopslag met de naam 'DS_BODS_HANA'.

  1. Ga naar Project -> Nieuw -> Datastore.

  1. Een scherm voor Create new Datastore verschijnt zoals hieronder.
    1. Voer de naam van de datastore in (DS_BODS_HANA).
    2. Voer Datastore-type in als Database.
    3. Voer Databasetype in als SAP HANA.
    4. Selecteer Databaseversie.
    5. Voer de naam van de SAP HANA-databaseserver in.
    6. Voer de poortnaam in voor SAP HANA-database.
    7. Voer gebruikersnaam en wachtwoord in.
    8. Vink 'Automatische gegevensoverdracht inschakelen' aan.

Klik op 'Toepassen' en vervolgens op de knop 'OK'.

Gegevensopslag 'DS_BODS_HANA' wordt weergegeven onder het tabblad Datastore van Local Object Library als:

Onderstaand-

  1. Nu importeren we de tabel in gegevensopslag 'DS_BODS_HANA'.
    1. Selecteer gegevensopslag 'DS_BODS_HANA' en klik met de rechtermuisknop.
    2. Selecteer Importeren op naam.

  1. Een pop-up voor Importeren op naam zal verschijnen zoals hieronder-
    1. Selecteer Type als tabel.
    2. Voer Naam in als KNA1.
    3. Eigenaar wordt weergegeven als Hanauser.
    4. Klik op de knop Importeren.

De tabel wordt geïmporteerd in de 'DS_BOD_HANA' datastore, om de gegevens in de tabel te bekijken, volgt u onderstaande stappen:

  1. Klik op tabel 'KNA1' in datastore 'DS_BODS_HANA'.
  2. Gegevens worden weergegeven IN TABULAR-indeling.

Stap 6) Project definiëren: Projectgroep en organiseren verwante objecten. Het project kan een willekeurig aantal taken, workflow en gegevensstroom bevatten.

  1. Ga naar het Designer Project-menu.
  2. Selecteer nieuwe optie.
  3. Selecteer Projectoptie.

Een POP-UP voor het maken van een nieuw project verschijnt zoals hieronder. Voer de projectnaam in en klik op de knop Maken. Het zal een projectmap maken in ons geval BODS_DHK.

Stap 7) Definieer taak: Een Job is een herbruikbaar object. Het bevat workflows en dataflow. Taken kunnen handmatig of als een schema worden uitgevoerd. Om het BODS-proces uit te voeren, moeten we de taak definiëren.

We creëren een vacature als JOB_Customer.

  1. Selecteer Project (BODS_DHK) gemaakt in stap 1, klik met de rechtermuisknop en selecteer 'Nieuwe batchtaak'.

  2. Hernoem het naar 'JOB_Customer'.

Stap 8) Definieer workflow:

  1. Selecteer Vacature 'JOB_Klant' in projectgebied,
  2. Klik op de workflow-knop in het toolpalet. Klik op het gebied Zwarte werkruimte. Er verschijnt een werkstroompictogram in de werkruimte.
  3. Wijzig de naam van de workflow in 'WF_Customer'.

Klik op de naam van de workflow, er verschijnt een lege weergave voor de workflow in de werkruimte.

Stap 9) Gegevensstroom definiëren:

  1. Klik op Workflow 'WF_Customer'.
  2. Klik op de Dataflow-knop in het toolpalet. Klik op het gebied Zwarte werkruimte. Er verschijnt een Dataflow-pictogram in de werkruimte.
  3. Wijzig de naam van de Dataflow in 'DF_Customer'.
  4. De Dataflow verschijnt ook in het projectgebied aan de linkerkant onder taaknaam.

Stap 10) Object toevoegen in Dataflow:

Binnen de gegevensstroom kunnen we instructies geven om brongegevens om te zetten in de gewenste vorm voor de doeltabel.

We zullen hieronder object zien -

  • Een object voor de bron.
  • Een object voor de doeltabel.
  • Een object voor Query-transformatie. (Querytransformatie wijst de kolommen van bron naar doel toe.)

    Klik op de gegevensstroom DF_Customer . Er verschijnt een lege werkruimte zoals hieronder -

  1. Specificeer object uit Bron – Ga naar Data store 'ds_ecc' en selecteer tabel KNA1 en sleep en zet neer naar het lege scherm van de gegevensstroom zoals hieronder weergegeven-
  2. Specificeer object voor Target- Selecteer Data store 'DS_BODS_HANA' uit de repository en selecteer tabel KNA1.
  3. Sleep naar de werkruimte en selecteer de optie 'Doel maken'. Er zullen twee tabellen zijn voor bron en doel. Hier zullen we de tabel definiëren als bron en doel.

  1. Vraagtransformatie - Dit is een tool die wordt gebruikt om gegevens op te halen op basis van een invoerschema voor gebruikersspecifieke omstandigheden en voor het transporteren van gegevens van bron naar doel.
    1. Selecteer het pictogram Querytransformatie uit het toolpalet en sleep het tussen bron- en doelobject in de werkruimte zoals hieronder -
    2. Koppel Query-object aan Bron.
    3. Koppel query-object aan doeltabel.

    1. Dubbelklik op het vraagpictogram. Hiermee brengen we een kolom in kaart van invoerschema naar uitvoerschema.

Wanneer we op het Query-pictogram klikken, verschijnt een volgend venster voor mapping, waarin we de volgende stappen uitvoeren -

  1. Brontabel KNA1 is geselecteerd.
  2. Selecteer alle kolommen uit de brontabel en klik met de rechtermuisknop en selecteer een kaart om uit te voeren.
  3. Doeluitvoer geselecteerd als Query en kolom wordt toegewezen.

5. Project opslaan en valideren.

1. Klik op het pictogram valideren.

2. Er verschijnt een pop-up voor geslaagde validatie.

Stap 11) Voer taak uit - Volg het onderstaande pad om Job uit te voeren:

  1. Selecteer het pictogram Projectgebied om Project te openen en selecteer aangemaakt project.
  2. Selecteer Taak en klik met de rechtermuisknop.
  3. Selecteer de optie Uitvoeren om de taak uit te voeren.

    1. Na het uitvoeren van de taak wordt een taaklogboekvenster weergegeven, waarin alle berichten met betrekking tot de taak worden weergegeven.
    2. Het laatste bericht is Taak is voltooid.

    Stap 12) – Valideer / controleer gegevens in SAP HANA-database.

    1. Meld u aan bij de SAP HANA-database via SAP HANA Studio en selecteer HANAUSER-schema.
    2. Selecteer KNA1-tabel in Tabelknooppunt.
    3. Klik met de rechtermuisknop op tabel KNA1 en selecteer Open Data Preview.
    4. Tabel (KNA1) Gegevens geladen door BODS-processen zoals hierboven worden weergegeven in het gegevensvoorbeeldscherm.