Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 阶段 6 · 推理部署与效率

在本地运行大模型

llama.cpp、Ollama、MLX、显存估算与选型。

看学习目标 ↓ 代码与练习 ↓

约 4 小时3 个算法0 篇论文正文编写中

01学习目标

建议先学：量化、剪枝与蒸馏

02要掌握的算法

每张卡都有原始论文、前置和学习资料。

LLM.int8() 与离群值LLM.int8() & Outlier Handling 8 位矩阵乘法，把少数“离群”特征单独用 16 位算。 2022核心 GPTQ 训练后量化GPTQ 利用二阶信息逐列量化权重，几小时把大模型压到 3–4 位。 2022核心 KV Cache 把已生成 token 的 Key/Value 存起来，避免每步重复计算。 核心

03课程与视频

04动手：项目、代码与练习

全部是官方或作者公开的免费页面，多数能在浏览器或免费 Colab 里直接运行。

动手项目

在自己电脑上运行一个 7B–14B 量化模型，接入一个本地文档问答脚本。

  1. 1
    Ollama 官方文档 ↗官方文档

    用 Ollama 在本机跑一个 7B 左右的模型并接入一个应用。

  2. 2
    LM Studio ↗工具

    用图形界面下载、加载模型，查看不同量化版本的显存占用。

  3. 3
    ml-explore/mlx-examples（Apple 芯片本地运行） ↗参考实现

    在 Apple 芯片 Mac 上用 MLX 运行和微调模型。

05自测题

先自己想，再点开看答案。

7B 模型 4 位量化大约需要多少显存（不含 KV）？

约 4–5 GB。

GGUF 是什么？

llama.cpp 使用的模型文件格式。

本地模型的主要优势？

隐私、离线、无按量费用。

所在人群路线：应用开发者

数据更新于：AI 算法图谱与课程体系（北京时间）