arXiv 2610.29434 · cs.SD · 2026-10-21

RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding

Chihiro Arata, Shohei Taniguchi, Gouki Minegishi, Kan Hatakeyama-Sato

Third Intelligence, Inc.

一句话要点

RubatoCodec通过事件级预算和自适应分帧机制，在流式解码中实现语音的高效、高质量表示，显著提升重建保真度与可懂度，且支持生成器自主学习事件速率。

RubatoCodec enables efficient, high-fidelity speech representation with adaptive event framing and streaming decoding, improving reconstruction and intelligibility.

要点

传统固定帧率编码在低帧率下信息密度高但难以适应语音内容变化，RubatoCodec通过自适应事件划分解决这一问题，根据语音特征动态调整帧长。
其Adaptive Firing机制基于波形谱和编码特征变化划分语音事件，无需学习边界预测器，每个事件由离散码和显式时长表示，支持流式逐事件解码。
在低事件率下，自适应编码在重建保真度和可懂度上优于固定帧率编码，且在英语、日语、中文多语言数据上均表现良好，尤其在日语和英语基准中保持最佳可懂性。
语音生成器无需显式速率约束即可学习并遵循事件预算，表明该表示对流式文本到语音生成具有良好的兼容性和稳定性。

English overview

RubatoCodec introduces a budgeted adaptive speech codec with event-level control and streaming decoding. It dynamically partitions speech into variable-duration events using feature and spectral changes, without learned boundaries. Each event is encoded with discrete tokens and explicit duration. Experiments show superior reconstruction quality and intelligibility over fixed-rate methods at low rates, especially on English and Japanese benchmarks. The generated speech maintains high fidelity and aligns well with text in TTS tasks, demonstrating effective integration with streaming generation.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

15HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论代码仓库