01
Incremental by design
Watermark и состояние выполнения хранятся отдельно от бизнес-логики. Повторный запуск продолжает загрузку, а не начинает её заново.
Integration Platform
Данные проходят.
Интеграция остаётся управляемой.
HONTI 3-Gate — самостоятельный integration runtime для SAP и других корпоративных источников. Он отвечает за извлечение, инкрементальность, восстановление после ошибок и доставку данных — независимо от бизнес-логики DWH.
Граница продукта
3-Gate знает, как получить данные и гарантированно доставить их дальше.
Оркестрация процессов остаётся в Flow, моделирование и трансформации — в Data Platform. Благодаря этому 3-Gate можно поставить отдельно или использовать как штатный integration layer всей платформы HONTI.
Sources
SAP RFC · OData · CDS · API · DB · Files
→
HONTI 3-Gate
metadata · schema · watermark · retry · checkpoint · routing · audit
→
Sinks
S3 / Parquet · ClickHouse · PostgreSQL · Kafka
02
Schema-aware
Метаданные источника читаются runtime-слоем. Политики strict, compatible и evolve позволяют контролировать изменение схемы.
03
Recoverable
Staging, атомарная публикация результата, retry и checkpoint защищают target от частично завершённых загрузок.
HONTI Flow + 3-Gate
Отдельный продукт. Внутри Flow — штатный исполнитель интеграции.
Зависимость односторонняя: Flow вызывает 3-Gate, но 3-Gate ничего не знает о Flow. Поэтому integration runtime остаётся универсальным.
HONTI 3-Gate
Analyzer
↓ metadata / dependencies
Flow
↓ extraction job
3-Gate
↓ canonical/raw dataset
S3 / ClickHouse / PostgreSQL
↓
Data Platform / DWH
Flow решает «когда»
Расписание, зависимости, ветвление, последовательность pipeline.
3-Gate решает «как»
Подключение, чтение, schema mapping, delta, retry, checkpoint и доставка.
Подключение
Начните с одного потока данных.
Определим источник, целевое хранилище, правила инкрементальной загрузки и контроль результата. Состав подключения согласуем под вашу систему и задачу.
Pilot
Проверим 3-Gate на реальном SAP-потоке.
Можно начать с одного RFC/OData источника и одного целевого хранилища, не меняя существующий DWH.