Przejdź do głównej zawartości

Podłącz źródło danych

OpenDome ingestuje źródła ustrukturyzowane przez tapy Singer (Meltano). Dystrybucja OSS dostarcza standardowe tapy; premium’owe konektory ERP to dodatek Enterprise.

  • tap-postgres
  • tap-mysql
  • tap-salesforce
  • Custom tapy — działa każdy tap zgodny ze specyfikacją Singer.

Enterprise Konektory premium (SAP, Workday, bankowy ERP) publikowane są w tierze komercyjnym.

  1. Podaj poświadczenia. Poświadczenia są rozdzielone na Secret (wrażliwe) i ConfigMap (niewrażliwe):

    PUT /v1/tenants/{t}/connectors/{c}/credentials
  2. Wybierz strumienie. Wybierz, które tabele/obiekty replikować:

    PUT /v1/tenants/{t}/connectors/{c}/streams
  3. Ustaw metodę replikacji per strumień (pełna tabela, inkrementalna oparta na kluczu, CDC oparte na logu):

    PUT /v1/tenants/{t}/connectors/{c}/replication
  4. Uruchom synchronizację:

    POST /v1/tenants/{t}/connectors/{c}/runs

Dane lądują w lakehousie komórki (Iceberg, w iceberg.raw.*), gotowe do kuratorowania i modelowania w OSL. Orkiestracja działa in-cell na Dagsterze — bez callbacków do control-plane w trybie standalone.

Replikacja oparta na CDC wymaga odpowiednich uprawnień i konfiguracji po stronie źródła (np. logical replication w Postgresie). Sprawdź wymagania swojego źródła, zanim wybierzesz metodę opartą na logu.