Connecter une source de données

OpenDome ingère les sources structurées à travers des taps Singer (Meltano). La distribution OSS inclut les taps standard ; les connecteurs ERP premium sont un add-on Enterprise.

En rédaction

Ce how-to est en cours d’élargissement avec des exemples de bout en bout. Le modèle de connecteur et la convention de credentials ci-dessous sont stables.

Taps intégrés Apache-2.0

• tap-postgres
• tap-mysql
• tap-salesforce
• Taps personnalisés — n’importe quel tap conforme à la spec Singer fonctionne.

Enterprise Les connecteurs premium (SAP, Workday, ERP bancaire) sont inclus dans le tier commercial.

Le flux

1. Fournissez les credentials. Les credentials se répartissent entre un Secret (sensible) et un ConfigMap (non sensible) :

   PUT /v1/tenants/{t}/connectors/{c}/credentials

2. Sélectionnez les streams. Choisissez quelles tables/objets répliquer :

   PUT /v1/tenants/{t}/connectors/{c}/streams

3. Définissez la méthode de réplication par stream (table complète, incrémental par clé, CDC basé sur le log) :

   PUT /v1/tenants/{t}/connectors/{c}/replication

4. Lancez une synchronisation :

   POST /v1/tenants/{t}/connectors/{c}/runs

Les données atterrissent dans le lakehouse de la cellule (Iceberg, dans iceberg.raw.*), prêtes à être curatées et modélisées dans OSL. L’orchestration tourne in-cell sur Dagster — sans callbacks vers le control-plane en mode standalone.

Préconditions de la source

La réplication basée sur le CDC a besoin des privilèges et de la configuration adéquats sur la source (p. ex. réplication logique sur Postgres). Vérifiez les exigences de votre source avant de sélectionner une méthode basée sur le log.