流处理

Estuary Flow是一款实时数据平台，可以通过CDC或流式SaaS API从数据库中实时捕获数据，使用有状态的流式SQL将数据转换成视图，并在需要的地方实现视图的物化。它可以推进流处理和批处理数据管道，从而实现新鲜数据和成本节约。 主要特点和功能： 建立可靠的流水线不需要调度，支持批处理/流处理和毫秒级物化视图。 管理CDC。可以从数据库中捕获简单、高效的变更数据，并在最小的影响和延迟下实现无缝回填和实时流处理。 流式SQL转换。可以实现流式SQL转换，无需窗口，可以将历史数据与实时数据连接起来。Flow还提供了模式验证和对转换测试的一流支持，可以在进行更改时进行持续集成。 集合而不是缓冲区。当数据源被捕获时，如Postgres CDC、Kinesis或流式Salesforce，数据存储在云存储中的常规JSON文件中。稍后，可以将所有历史和持续更新的数据材料化到不同的数据系统中。可以在多个地方创建相同、最新的数据视图，现在或将来。 连续视图而不是接收器。物化视图可以进行就地更新。可以将实时事实表构建为更新捕获数据的数据源，即使在不支持此功能的系统中（如PostgreSQL或Google Sheets）。可以将任何数据库变成“实时”数据库。 完全增量，精确一次。Flow使用连续处理模型，通过处理图传播事务数据更改。这有助于保持低成本，同时在不同的系统中保持精确副本。 Turnkey批处理和流处理连接器。可以通过一个工具支持实时数据和历史数据，并访问预构建的连接器，连接到约50个端点。例如，可以从批处理Stripe API中捕获数据，将其与来自Kafka的数据连接起来，并将所有这些数据推送到Google Sheets中，而无需构建自定义集成。或者，如果需要，可以通过Flow的开放协议插入自己的连接器。 访问链接: https://estuary.dev/