Datenquelle anbinden

OpenDome ingestiert strukturierte Quellen über Singer-Taps (Meltano). Die OSS-Distribution liefert die Standard-Taps; Premium-ERP-Connectoren sind ein Enterprise-Add-on.

In Arbeit

Dieses How-to wird um End-to-End-Beispiele erweitert. Das Connector-Modell und die folgende Credential-Konvention sind stabil.

Integrierte Taps Apache-2.0

• tap-postgres
• tap-mysql
• tap-salesforce
• Custom Taps — jeder Tap, der der Singer-Spec entspricht, funktioniert.

Enterprise Premium-Connectoren (SAP, Workday, Banking-ERP) sind in der kommerziellen Stufe enthalten.

Der Ablauf

1. Credentials bereitstellen. Credentials verteilen sich auf ein Secret (sensibel) und eine ConfigMap (nicht sensibel):

   PUT /v1/tenants/{t}/connectors/{c}/credentials

2. Streams auswählen. Wähle, welche Tabellen/Objekte repliziert werden:

   PUT /v1/tenants/{t}/connectors/{c}/streams

3. Die Replikationsmethode festlegen pro Stream (Full Table, key-based incremental, log-based CDC):

   PUT /v1/tenants/{t}/connectors/{c}/replication

4. Eine Synchronisierung starten:

   POST /v1/tenants/{t}/connectors/{c}/runs

Die Daten landen im Lakehouse der Zelle (Iceberg, in iceberg.raw.*), bereit, um in OSL kuratiert und modelliert zu werden. Die Orchestrierung läuft in-cell auf Dagster — keine Control-Plane-Callbacks im Standalone-Modus.

Vorbedingungen der Quelle

CDC-basierte Replikation benötigt die richtigen Privilegien und die richtige Konfiguration auf der Quelle (z. B. logische Replikation auf Postgres). Prüfe die Anforderungen deiner Quelle, bevor du eine log-basierte Methode auswählst.