本类时间线
01核心算法
先学这些,按年份排列。
世界模型(Ha & Schmidhuber)World Models 先学一个能“做梦”的环境模型,再在梦里训练策略。 2018核心 Dreamer(隐空间想象)Dreamer (Latent Imagination) 在学到的隐空间世界模型中想象未来轨迹来训练行为。 2019核心 掩码自编码器 MAEMasked Autoencoders (MAE) 遮住 75% 的图像块,让模型补全,从而学到视觉表征。 2021核心 联合嵌入预测架构 JEPAJoint-Embedding Predictive Architecture (JEPA) 在抽象表征空间里预测被遮住的部分,而不是重建像素。 2023核心 DINOv2 自监督视觉特征DINOv2 (Self-Supervised Visual Features) 不用标注,用自蒸馏在海量图片上训练通用视觉特征。 2023核心 Genie 可交互世界生成Genie (Generative Interactive Environments) 从无标注游戏视频中学会生成可用键盘操控的世界。 2024核心
02扩展
核心学懂之后值得了解的变体和后续工作。