// AI 新闻 · 2026-10-30 · Databricks Blog
Databricks 推出 Spark Declarative Pipelines 实时模式通用可用
Databricks 宣布其 Spark Declarative Pipelines(SDP)中的实时模式(RTM)现已全面可用,支持端到端毫秒级延迟的运营流处理工作负载。该功能消除了对 Apache Flink 等专用引擎的依赖,将批处理、ETL 和低延迟流处理统一在单一框架下。
原文发布 2026-10-30 06:30(北京时间)来源 Databricks Blog自动整理 · 已核对原文
01摘要
RTM 通过持续流式数据处理、并行执行查询阶段及即时数据传递实现毫秒级延迟,支持欺诈检测、实时个性化等时间敏感场景。在实际客户工作负载测试中,RTM 相比 Flink 最高快 92%,且可与 SDP 的自动依赖管理、故障恢复和数据质量控制等功能结合使用,提升开发效率与运维一致性。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- 实时模式(RTM)实现端到端毫秒级延迟,支持欺诈检测、实时推荐等关键场景。
- RTM 将批处理、ETL 和低延迟流统一于 Spark Declarative Pipelines 框架内,无需额外引擎。
- 在实际工作负载测试中,RTM 相比 Apache Flink 最高快 92%,延迟从微批次架构的秒级降至毫秒级。
- 支持将结果直接写入 Redis、Lakebase 等在线存储,实现数据产出后即入库存储,无离线同步延迟。
03原文出处
Announcing General Availability of Real-Time Mode for Spark Declarative Pipelines on Databricks
Databricks Blog · 发布于 2026-10-30 06:30(北京时间) · 上方为原标题
05同主题新闻
- 为何等待完美数据比启动AI更危险2026-10-30 · Snowflake Blog
- 英国亚马逊Quick用户小组2026年活动回顾2026-10-30 · AWS Machine Learning Blog
- 可在Gemini聊天中直接生成和编辑Google文档2026-10-30 · The Verge AI
- Epsilon 基于 Amazon Nova Act 构建意图驱动 UI 测试服务2026-10-30 · AWS Machine Learning Blog
- NeurIPS与EMNLP会议论文在嵌入空间中逐渐趋近2026-10-30 · Hugging Face Forum
- 谷歌承认AI搜索收入偏低,正通过增加广告弥补2026-10-30 · Ars Technica AI
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 全部 AI 新闻 · 今日