Connettere una sorgente di dati

OpenDome ingesta le sorgenti strutturate attraverso i tap Singer (Meltano). La distribuzione OSS include i tap standard; i connettori ERP premium sono un add-on Enterprise.

In stesura

Questo how-to si sta ampliando con esempi end-to-end. Il modello di connettore e la convenzione di credenziali qui sotto sono stabili.

Tap integrati Apache-2.0

• tap-postgres
• tap-mysql
• tap-salesforce
• Tap personalizzati — qualsiasi tap conforme alla spec di Singer funziona.

Enterprise I connettori premium (SAP, Workday, ERP bancari) sono inclusi nel tier commerciale.

Il flusso

1. Fornisci le credenziali. Le credenziali si dividono tra un Secret (sensibile) e una ConfigMap (non sensibile):

   PUT /v1/tenants/{t}/connectors/{c}/credentials

2. Seleziona gli stream. Scegli quali tabelle/oggetti replicare:

   PUT /v1/tenants/{t}/connectors/{c}/streams

3. Imposta il metodo di replicazione per stream (tabella completa, incrementale per chiave, CDC basato su log):

   PUT /v1/tenants/{t}/connectors/{c}/replication

4. Lancia una sincronizzazione:

   POST /v1/tenants/{t}/connectors/{c}/runs

I dati atterrano nel lakehouse della cella (Iceberg, in iceberg.raw.*), pronti per essere curati e modellati in OSL. L’orchestrazione gira in-cell su Dagster — nessuna callback verso il control-plane in modalità standalone.

Precondizioni della sorgente

La replicazione basata su CDC richiede i privilegi e la configurazione adeguati sulla sorgente (es. replicazione logica su Postgres). Verifica i requisiti della tua sorgente prima di selezionare un metodo basato su log.