Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen
0 gefällt mir1,042 aufrufe
Das Dokument präsentiert das Endeca Web Acquisition Toolkit, das zur Integration von webbasierten Datenquellen und zur Unterstützung von Analyse-Anwendungen entwickelt wurde. Es wird ein 'Discovery Lab'-Konzept vorgestellt, das sich auf die Analyse interner und externer Datenquellen konzentriert und den wirtschaftlichen Wert neuer Datensätze identifiziert. Das Toolkit umfasst innovative ETL-Prozesse, um Struktur in unstrukturierte Daten zu bringen und die Datenverwertung in verschiedenen Anwendungsfällen, wie etwa im australischen Weinmarkt, zu optimieren.
Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen
- 2. Endeca Web Acquisition Toolkit Integration verteilter Web-Anwendungen und anderer Datenquellen Harald Erb Oracle Business Analytics DOAG Konferenz Nürnberg, 19. November 2014 Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
- 3. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | •Harald Erb •Principal Sales Consultant •Business Analytics Architect Domain Lead - DE/CH Cluster •Kontakt +49 (0)6103 397-403 •[email protected] Referent
- 4. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. 4
- 5. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Agenda 5 „Discovery Lab“-Konzept mit Endeca Allg. Datenintegration & Endeca Web Aquisition Toolkit Endeca WAT Anwendungsfälle Ausblick Discovery Lab 1 2 3 4
- 6. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Agenda 6 „Discovery Lab“-Konzept mit Endeca Allg. Datenintegration & Endeca Web Aquisition Toolkit Endeca WAT Anwendungsfälle Ausblick Discovery Lab 1 2 3 4
- 7. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 7 Interne qualitätsgesicherte Daten aus dem Oracle Data Warehouse , Oracle BI System oder anderen strukturierten Datenquellen liefern die notwendigen Fakten Click icon to add picture Externe Kundendialoge zum Thema sind direkt bei Twitter oder bei Mehrwertdiensten über entspr. Schnittstellen erhältlich Click icon to add picture Die Inhalte vieler Fachforen sind ohne Datenschnittstelle nicht in kurzer Zeit in eigene Analysen einbindbar Ansatz für das Endeca Aquisition Toolkit Analyse-Szenario: Australischer Wein(markt) INTERN OK OK EXTERN ?
- 8. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Ziel: Eine Analyse-Anwendung über (möglichst) alle Quellen
- 9. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 9 Oracle Information Management Architektur Line of Governance Konzeptansicht
- 10. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 10 Oracle Information Management Architektur Event Engine Erkennt vordefinierte Ereignismuster direkt im Datenstrom und ermittelt z.B. per Echtzeitanalyse die nächste beste Aktion/Handlung Data Reservoir Ökonomisch einsetzbares Scale-out Speichersystem, dass massiv parallel Daten verarbeiten kann, ohne dabei allzu strenge Anforderungen an Datenmodellierung oder Formalisierung der Daten zu stellen – typischerweise Hadoop Cluster oder Staging Area in RDBMS Data Factory Für das Management aller Datenflüsse (ETL) innerhalb einer bzw. zwischen den Platfformen Enterprise Information Groß angelegter Datenspeicher, der unternehmenskritische Daten in formalisierter und modellierter Form beherbergt – typischerweise manifestiert als (Enterprise) Data Warehouse und in Kombination mit dem Data Reservoir als Big Data Management System ausgeprägt. Reporting BI Abstraktionsschicht /KPI‘s, -Werkzeuge, -Infrastruktur für Berichtswesen, Analyse und Planung Discovery Lab Abseits der täglichen Datenverarbeitung werden hier neue interne und/oder externe Datenquellen nach ihrer Werthaltigkeit für die zukünftige Unternehmenstätigkeit untersucht. In Kombination mit eigenen Datenbeständen und mit Hilfe spezieller Methoden/Werkzeuge für Analyse, statistische Berechnungen, Mustererkennung, Ergebnisvisualisierung, erlangt ein kleiner, hochspezialisierter Benutzerkreis neue Erkenntnisse, die sich in der Praxis bewähren müssen Komponenten der Konzeptansicht
- 11. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | •Fokus liegt auf Identifizierung des wirtschaftlichen Wertes und der kommerziellen Nutzbarmachung neuer Daten-Sets •Kleiner Anwenderkreis mit hoch qualifizierten Personen (Data Scientists) •Entwicklungsansatz iterativ, orientiert sich an Daten(-beschaffenheit) und NICHT an Entwicklungs- prozessen •Breites Spektrum von Werkzeugen und Analyse- und Visualisierungstechniken kommen zur Anwendung •Datenbereitstellung kann über die Data Factory oder eigene ETL-Prozesse erfolgen •Typischerweise als separate Infrastruktur ausgelegt 11 Discovery Lab - Konzeptansicht Merkmale und Design Pattern
- 12. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 12 Projektbezogene Analyse-Sandboxen Discovery Lab – Logische Ansicht Analyse (Verarbeitung & Bereitstellung) Discovery Lab & Data Science Werkzeuge Data Reservoir & Enterprise Data Data Science (Primary Toolset) Statistikwerkzeuge Data & Text Mining Werkz. Faceted Query Werkzeuge Programmierung & Scripting Daten Modellierung/ETL Query & Search Werkzeuge Vorgefertigte BI-Inhalte Analyse- Werkzeuge Ad Hoc Abfragen & Analyse Werkzeuge OLAP Forecasting- & Simulationswerkzeuge Standardberichte Data Scientist Virtualisierung & Informationsdienste Data Factory Flow 1.Data Factory – ermöglicht Daten- zugang oder (Teil-) Replikation in Richtung der Sandboxes im Discovery Lab. 2.Direkte Verbindung (lesend und schreibend!) zwischen Data Science Werkzeugen und den Analyse Sandboxen. 3.Data Scientist Zugriff auf die Abstraktionsschicht oder Werkzeuge der vorhandenen BI Plattform (Standard Dashboards, Reports und KPI’s) Data Quality & Profiling Visualisierungswerkzeuge Dashboards & Reports Scorecards Diagramme & Graphen Sandbox – Project 3 Sandbox – Project 2 Sandbox – Project 1 Data store Analytical Processing BI Flow 1 2 3
- 13. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | ? 13 Discovery Lab mit Endeca EID Studio Anwenderoberfläche für Data Mash-up und zur Erstellung von intuitiv nutzbaren Discovery- Applikationen Self-Service Provisioning Sharing and Collaboration Drag & Drop Composition Intuitive Exploration EID Integrator Zur schnellen Integration und Anreicherung von strukturierten und niedrig- strukturierten Daten Innovative ETL Web and File Crawling Text Enrichment Endeca Server Skalierbare, gesicherte und zentral betriebene Engine (= kombinierter Ansatz aus In-memory Suchindex und analytischer Datenbank) EID Web Acquisition Toolkit Synthetic API Creation Plattform zur Integration von webbasierten Daten- quellen, die keine Schnittstelle für den Datenexport anbieten Twitter OAuth Interface Portale, Blogs, Internet Foren Interne Datenquelle(n): Data Warehouse und/oder BI Plattform Analytic Application “Australian Wine” Twitter und/ oder ähnliche (Social Media) Plattformen mit API Beteiligte Komponenten
- 14. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 14 Discovery Lab mit Endeca Data Warehouse / BI Plattform Endeca Server Index Wine Sales Item Location Brand Type Qty Forum / Blog Posts Type Item Date Brand Date Topic Review Item Datenbereitstellung ohne vorherige Datenmodellierung Automatische Verknüpfung Endeca Server
- 15. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 15 Discovery Lab mit Endeca Endeca Server Spezielle, In-Memory Engine für strukturierte und niedrig strukturierte Daten Datennavigation und -exploration über alle verfügbaren Attribute und Textbestandteile Datenanreicherung zum automat. Extrahieren der wesentlichen Textinhalte Relevante Themen aus Fließtexten und Dokumenten und ihre Tonalität erkunden Volltextsuche enthält Rechtschreibkorrektur, Stopworte, Synonyme, Stemming, Match Modes und konfig. Relevance Ranking Differenzierte analytische Abfragen und interaktive Daten Visualisierungen Explorative Analyse via Facettennavigation und Suche
- 16. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 16 Zusammenspiel mit einer etablierten Oracle BI-Plattform Discovery Lab mit Endeca Zuverlässige Antworten auf erwartete Fragen Analytischer Mehrwert: Dauerhaft Zielgruppe: Unternehmensweit Projektart: Proaktiv / Anforderungen sind bekannt Schnelle Antworten auf unvorhersehbare Fragen Analytischer Mehrwert: Sofort Zielgruppe: Individuell … spezifische Gruppen Projektart: Reaktiv / häufig wechselnde Anforderungen ERP, CRM, … , DWH, Marktdaten Oracle Common Enterprise Information Model Standardberichte, Dashboards, Ad-hoc, Planung Datensilos, eigene Dateien, externe Inhalte Agile Data Mashup Self-Service Discovery Applikationen Qualitätsgesicherte Daten Leistungsfähige Infrastruktur LOB getrieben (Top-down) IT getrieben (Bottom-up)
- 17. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Agenda 17 „Discovery Lab“-Konzept mit Endeca Allg. Datenintegration & Endeca Web Aquisition Toolkit Endeca WAT Anwendungsfälle Ausblick Discovery Lab 1 2 3 4
- 18. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | ? 18 Möglichkeiten der Datenintegration in Endeca EID Studio Anwenderoberfläche für Data Mash-up und zur Erstellung von intuitiv nutzbaren Discovery- Applikationen Self-Service Provisioning Sharing and Collaboration Drag & Drop Composition Intuitive Exploration EID Integrator Zur schnellen Integration und Anreicherung von strukturierten und niedrig- strukturierten Daten Innovative ETL Web and File Crawling Text Enrichment Endeca Server Skalierbare, gesicherte und zentral betriebene Engine (= kombinierter Ansatz aus In-memory Suchindex und analytischer Datenbank) EID Web Acquisition Toolkit Synthetic API Creation Plattform zur Integration von webbasierten Daten- quellen, die keine Schnittstelle für den Datenexport anbieten Twitter OAuth Interface Portale, Blogs, Internet Foren Interne Datenquelle(n): Data Warehouse und/oder BI Plattform Analytic Application “Australian Wine” Twitter und/ oder ähnliche (Social Media) Plattformen mit API Beispielanwendung „Australian Wine“
- 19. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 19 Beispiel: Twitter API's abfragen, Ergebnis anreichern und in Endeca Server laden Endeca Information Discovery Integrator
- 20. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 20 Mehrwertdienste nutzen – Beispiel DataSift Endeca Information Discovery Integrator • Sentiment • Influence • Geo • Weblinks • Real-time • Historical Quelle: http://thewinewankers.com.au/2014/07/14/the-50-most-influential-wine-entities-on-social-media
- 21. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 21 Falls die Datenquelle keine oder nur eine im Umfang beschränkte API anbietet Endeca Web Aquisition Toolkit EID Web Acquisition Toolkit EID Integrator auswine.com.au winespectator.com Endeca Server Erstellen eines Workflows zur An-bindung von Live-Daten und auto-matisierter Extraktion von Web-Inhalten sowie Speicherung in eine Datenbank (nur eine mgl. Option) Fortsetzung des Ladeprozesses durch Übernahme der strukturierten Daten, Anreicherung des Fließtextes (durch Entitäten-Extraktion, Text-Tagging und Sentiment-Analyse) sowie Laden der Daten in den Endeca-Server Beispiel-Szenario: Australian Wine
- 22. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 22 Endeca Web Aquisition Toolkit = OEM Produkt von Kapow Prinzip Kapow Katalyst 9.2.9 Architektur
- 23. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 23 Endeca Web Aquisition Toolkit – Design Studio Workflow • Aktionen • Tag Finder • Variablen- Definition • Fehlerbe- handlung Code lines Live-Daten Browser- Simulation Projekt- struktur
- 24. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 24 Endeca Web Aquisition Toolkit – Design Studio Extraktionslogik für http://forum.auswine.com.au
- 25. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 25 Endeca Web Aquisition Toolkit – RoboServer
- 26. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 26 Endeca Web Aquisition Toolkit – Management Console „Datenintegration as a Service“
- 27. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Agenda 27 „Discovery Lab“-Konzept mit Endeca Allg. Datenintegration & Endeca Web Aquisition Toolkit Endeca WAT Anwendungsfälle Ausblick Discovery Lab 1 2 3 4
- 28. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Market Intelligence •Competitive Pricing •Social Media and Brand Monitoring •Financial Research •Open Source Intelligence •Fraud Detection Ecosystem Automation •Logistics Integration •Partner Integration •Customer Integration •Talent Management 28 Content Integration •Content Migration •Enterprise Search •Legacy Application Integration Endeca Web Aquisition Toolkit (Kapow Katalyst) Einsatzbereiche Relevant für Discovery Lab-Konzept
- 29. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 29 Beispiel 1: Price & Revenue Management Prinzip
- 30. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 30 Beispiel 1: Price & Revenue Management Mapping zum Oracle Product Stack
- 31. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 31 Beispiel 2: Machine-2-Machine Integration Quelle: www.kapowsoftware.com/assets/casestudies/Deutsche-Telekom-us-letter.pdf M2M Competence Center Deutsche Telekom stellt im internen Application Store u.a. eine SIM-Info App bereit, die mit Kapow Katalyst zeitaufwändige Suchen und Analysen automatisiert: ̶CRM-System Kundenidentifikation ̶ERP-System SIM-Karten Lieferung ok? ̶Netzwerk-Adminsystem SIM aktiv? ̶Ticket-System weitere Infos ̶... Ergebnis: ̶Analyseprozess von 90 auf 4 min verkürzt ̶Schnelle Bereitstellung der Schnittstelle
- 32. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Aufgabenstellung •Bestehende B2C Online Banking-Anwendung der Commerzbank war für den Desktopzugriff konzipiert und benötigte eine relativ hohe Bandbreite •Für Nutzung auf Android, iOS oder anderen mobilen Geräten weniger geeignet: kleinere Bildschirme, beschränkte Bandbreite ließen ein gutes Nutzererlebnis nicht zu Lösung •neue App basierend auf bestehendem Mobile Banking- Angebot erstellt •Auf Kapow Katalyst basierende Web Services unterstützen das schlanke Interface der App •Entkopplung von alten und neuen HTML-Inhalten über ein Web Service Layer ermöglicht neue Workflows und Funk- tionen, die selbst bei geringer Bandbreite für ein optimales Nutzererlebnis sorgen. 32 Ergebnis •Neue Die Commerzbank Banking & Service App wurde seit 2011 über 250.000 Mal heruntergeladen und wird täglich von mehr als 25.000 Commerzbank-Kunden genutzt •Flexible Plattform kann nun zeitnah auf sich ändernde Anforderungen im Bereich Mobile Banking reagieren und jederzeit Daten aus beliebigen Datenbanken, Anwendung oder Website in die Applikation integrieren Beispiel 3: Optimierung Mobile Services Quelle: kapowsoftware.com/de/downloads/pdf/commerzbank-a4-german.pdf
- 33. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Aufgabenstellung •Externe web-basierte Anwen- dungen, z.B. für Fahrkartenkauf und Hotelbuchungen sollten in Intranet-Portal von Audi inte- griert werden – Ziel: einheit- liche Menüführung •Direktzugriff auf frei verfügbare Online-Dienste war ineffizient: –Störung durch Werbung –Unterschiedl. Menüführung der Seiten verringerte Mitarb.- Produktivität –Manche Online-Dienste waren aufgrund interner IT-Richtlinien schlicht gesperrt Lösung •Mit Kapow Katalyst wurden interne und externe Services unter Berücksichtigung der Sicherheitsanforderungen in ein Portal integriert •Beispiel: Länderdatenbank für Infos und volkswirtschaftliche Daten zu mögl. Produktions- und Vertriebstandorten 33 Ergebnis •Audi‘s interne Plattform besteht aus acht einzelnen Portalen, die ca. 60.000 Mitarbeiter nutzen •15 interne und externe Dienste und Anwendungen sind zur Erleichterung der Arbeits- abläufe über das Intranet erreichbar •IT-Abteilung kann neue Services in 1..2 Wochen integrieren, statt an Projekte von ein bis zwei Monaten gebunden zu sein Beispiel 4: Anbindung externer Dienste in das Intranet Quelle: www.kapowsoftware.com/de/downloads/pdf/audi-a4-german.pdf
- 34. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Agenda 34 „Discovery Lab“- Konzept mit Endeca Allg. Datenintegration & Endeca Web Aquisition Toolkit Endeca WAT Anwendungsfälle Ausblick Discovery Lab 1 2 3 4
- 35. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 35 Hadoop-Verbreitung steigt weiter
- 36. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 36 Analytische Erkenntnisse sind aber nur schwer erzielbar Volume, Variety, Velocity Komplexität ̶Daten sind unorganisiert ̶komplexe, nicht integrierte Werkzeuge ̶Spezialwissen erforderlich Folge: Mangelnder Nutzen, geringe analytische Agilität ̶80% der Zeit wird allein für Datenaufbereitung verwendet, die restliche Zeit bleibt für die eigentliche Analyse Pfad in Richtung Produktion unklar ̶Ergebnisse schwierig verteilbar ̶Absicherung der Daten ̶Nutzengenerierung, Risiko- minimierung, Ressourcen-Einsatz Folge: Begrenzter unter- nehmensweiter Einsatz ̶Neue Erkenntnisse werden im Unternehmen nicht weit genug verbreitet Value ?
- 37. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 37 ...und erfordern einen neuen Ansatz Eine intuitive und interaktive grafische Benutzeroberfläche... ... für alle, die in Hadoop schnell Daten finden, erkunden, umwandeln, analysieren... ... und für die unternehmensweite Nutzung bereitstellen wollen Höhere analytische Agilität Maximale Verbreitung der Ergebnisse
- 38. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 38
- 39. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 39 Oracle Big Data Discovery – The Visual Face of Hadoop
- 40. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 40 Vom Konzept zur Gesamtlösung… *) noch nicht verfügbar
- 41. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 41 ...mit Oracle‘s Information Management Plattform SOURCES Big Data Discovery Business Analytics Data Warehouse Big Data Appliance Agile Data Prep. in Hadoop + Powerful Analytics Data Reservoir Exalytics Enterprise BI Self-Service Discovery Data Mashup Oracle Big Data Connectors Managing unstructured data Managing structured data Oracle Big Data SQL Exadata Oracle Data Integrator
- 42. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | 42