Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
1 gefällt mir1,586 aufrufe
Das Dokument behandelt die Herausforderungen und Anforderungen an ETL-Prozesse im Kontext von Oracle-Datenbanken, einschließlich der Notwendigkeit intelligenter Replikationsmechanismen und Datenqualitätsmanagement. Darüber hinaus werden die Bedeutung von Werkzeugen und Standardisierungen, die Vorteile von neuen ETL-Architekturen und die Integration von Change Data Capture hervorgehoben. Es bietet auch Einblicke in die Oracle ETL-Roadmap und die Rolle von Oracle Golden Gate für Echtzeit-BI.
Oracle ETL Herausforderungen - OPITZ CONSULTING - Till Sander - Wolfgang Rütter
- 1. ETL Herausforderungen – Oracle PortfolioBonn, 20.Dezember 2010Oracle ETLTill SanderProject Manager, OPITZ CONSULTING Hamburg GmbHWolfgang RütterBereichsleiter, OPITZ CONSULTING Gummersbach GmbH
- 7. ETL-Anforderungen: DatenDatenquellenAnbindung heterogener DatenquellenVorgaben seitens der IT-Architekturz.B. Nutzung von Web ServicesApplikations-Adapter z.B. SAP, PeopleSoft, eBusiness SuiteVersorgungSteigende Datenvolumina unterbinden das "klassische" Kopieren von DatenReplikationüberDirektzugriff auf die QuelleoderalsKomplettreplikation ("Schattendatenbank") scheiterthäufig an zulangenLaufzeitenImmer höhere Anforderungen an effiziente ETL-Prozesse und an die Aktualität der Daten erfordern intelligente ReplikationsmechanismenChange Data CaptureWeb Services
- 8. ETL-Anforderungen: DatenAktualitätDas Data Warehouse wird zunehmend "operationalisiert"Herkömmliche Aktualisierungsintervalle reichen nicht mehr ausDie Belastung der Quellsysteme muss trotz kontinuierlicher Replikation der Änderungsinformationen gering gehalten werdenETL-Prozesse müssen in der Lage sein, die anfallende Datenmenge innerhalb der Aktualisierungszyklen verarbeiten zu könnenQualitätData Profiling: die frühzeitige Analyse der zu replizierenden Daten Rules: Definition und Einbinden von Datenregelnz.B. Definition von WertebereichenAusschleusen von DatenanomalienKontinuierliches Messen der DatenqualitätNachvollziehen des Erfolges von DQ-MaßnahmenFrühzeitiges Erkennen von DQ-Problemen
- 10. ETL-Anforderungen: WerkzeugModellierungVorteile des deklarativen DesignsDie optimaleUmsetzungderDesignvorgabenerfolgtdurch das Werkzeug.Änderungen an derInfrastrukturmüssennichtimplementiert, sondernnuralsMetadatenbekanntgemachtwerden.Leichteres Einhalten von Standards, z.B. durch "Code Templates"Automatische DokumentationAutomatisierung von StandardaufgabenSkriptingDimensionaleModellierungSlowly Changing DimensionsScheduling/ProzesssteuerungAutomatisierung der AbläufeEinbindung in globale Steuerung
- 11. ETL-Anforderungen: WerkzeugKonfigurationsmanagementInterne VersionierungEinbinden von externer VersionsverwaltungUnterstützung von Deployment in verschiedene UmgebungenNachvollziehbarkeit der ausgeführten DeploymentsData Lifecycle ManagementUnterstützung bei der hierarchischen Speicherung von Informationen je nach Abfrageanforderung
- 13. ETL-Anforderungen: MetadatenDesignStandardisiert, werkzeugübergreifend nutzbarCommon Warehouse Model (CWM)Durchgängigkeit"Von derDatenquellebiszurKennzahlimBericht"Lineage und Impact-AnalyseDokumentationMonitoringÜberwachung und Protokollierung der AusführungenBenachrichtigung bei Fehlern im LadeprozessErstellung von Laufzeitstatistiken zu proaktiven Überwachung
- 14. Strategisches ETL: VorteileStandardisierungLeichtere Übergabe von Aufgaben im Team, keine WissensinselnUmsetzen der EntwicklungsrichtlinieEffizienzSchnellere EntwicklungszyklenLaufzeitoptimierung der Prozesse Optimierter CodeRedundanzfreieReplikationSchonender Einsatz der Hardware-RessourcenKostenersparnis
- 15. ETL vs. E-LTKonventionelle ETL-ArchitekturTransformation in ETL-ServerProprieitäre ETL-EngineProblematisch: PerformanceHöhere KostenTransformation in RDBMSNutzung der bestehenden InfrastrukturGeringere KostenOptimale Nutzung der Datenbank als Transformation-EngineTransformExtractLoad"Neue" ETL-ArchitekturE-LTTransformTransformLoadExtract
- 16. ETL-SzenarioQuelleNur geschlossene AufträgeZielUmsatz = Summe Positionen + KorrekturAufträgeNur Aufträge mit PositionenPositionenUmsatzFehlerProdukt muss vorhanden seinKorrektur
- 18. Umsetzung mit ETL-WerkzeugETL-EngineQuelleZielAufträgeFachliche RegelnCSVPositionenSQLUmsatzSQLFehlerKorrekturDatenregelnSQLODBC
- 19. Umsetzung mit ODIETL-EngineQuelleZielAufträgeLKMFachliche RegelnCSVPositionenSQLUmsatzIKMIKMSQLFehlerKorrekturCKMDatenregelnSQLLKMODBC
- 20. Oracle ETL-RoadmapOracle-centric ETL & DQ functionality continue in the Oracle DatabaseOracle Database 12g10gR211gR110gR111gR2ETL & DQOWBEETLODI EE 12gUnified PlatformODICore ETL and DQ functionality in the Oracle Database
- 21. Enterprise ETL for Oracle and non-Oracle in ODI-EE11gR211gR110gR3
- 23. Oracle Warehouse Builder 11gR2
- 24. OWB 11gR2 – Übersicht ArchitekturModellierung
- 25. ETL
- 26. Erstellenvon BI Tool MetadatenOWBOBI Enterprise EditionOWBRepositoryOBI Standard Edition OneBI PublisherROLAPSources RDBMS
- 27. Flatfiles
- 28. Cobol Copybooks
- 29. XML
- 30. ApplikationenMOLAPOBI Standard EditionBI BeansOracle BI ToolsOracle Datenbank
- 32. DatenquellenNeu: Native DB Connection
- 33. JDBC (Code Templates)Einfaches OWB-Mapping
- 36. Automatisierung: Oracle WorkflowOracle Workflow wird weiterhin im OWB verwendetMonitoringAlle Mappings und Prozesse protokollieren automatischUmfang des Loggings kann konfiguriert werdenAudit-Daten werden im Laufzeit-Repository des OWBs (Control Center) abgelegtAbfrage über Control Center Manager oder über den Repository BrowserAlternative: Eigene Abfragen auf das RepositoryBenutzerdefinierte Berichte für SQL-Developer oder ViewsEigene Monitoring-Applikation, z.B. mit Oracle Application Express (APEX)
- 38. Oracle Data Integrator 11g (ODI)
- 39. Oracle Data Integrator 11g
- 40. ODI 11g – Übersicht ArchitekturDesktopWebLogic 11g/Application ServerFMW KonsoleJVMODI StudioODI Plug-inDesignerServlet ContainerWS ContainerJava EE ApplikationOperatorODI KonsoleRuntime WSPublic WSData Servi-cesJava EE ApplikationODI SDKJava EE AgentTopologyODI SDKSecurityData Sources Connection PoolRepositoriesQuellen und ZieleJVMJava EE ApplikationODI Master RepositoryODI SDKODI WorkRepositoryLegacyApplicationsDW/BI/EPMFiles/XMLDBMS
- 41. ODI – Interfaces
- 42. ODI – TopologyTrennung der logischen und physischen Architektur
- 43. Zusammenfassung in Kontexten (z.B. ENTW/TEST/PROD)ODI – Knowledge Module
- 44. ODI – Knowledge Module
- 45. ODI – Knowledge Module
- 47. ODI – SchedulingInteraktiv aus dem ODI
- 49. ODI-Scheduler
- 50. Kommandozeile
- 51. Web ServiceODI – VersionierungAlle Objekte können in Szenarien versioniert werden.
- 52. Aus den Szenarien werden "Solutions" erstellt, die dann als Release eingespielt werden können.Stärken und Schwächen
- 54. Oracle Golden Gate – Realtime BIODIOracle Golden GateRoute(LAN, WAN, Web)CaptureDeliveryStagingTransformationDWHQuelleZielOracle Golden Gate ist in ODI integriert.
- 55. "Change Data Capture" über Golden Gate kann direkt aus dem ODI für die ETL-Prozesse genutzt werden.Fragen und Antworten
- 56. Ansprechpartner bei OPITZ CONSULTINGTill Sander, Project ManagerOPITZ CONSULTING Hamburg [email protected]+49 40 741122-1346Wolfgang Rütter, BereichsleiterOPITZ CONSULTING Gummersbach [email protected] +49 2261 6001-1116