关于 DeepInfer 深推
大模型不会解释自己,人得替它推。
这里只谈模型怎么算:推理怎么跑、训练怎么收敛、数学上为什么成立、算力花在了哪。不追发布会通稿,只追「它凭什么这么算」。
为什么叫深推
inference 是模型把输入算成输出的那一步:很多层矩阵乘法、归一化和采样叠在一起。它不神秘,但也没法靠背结论学会。推是这件事的中文说法,深是要求——不接受「反正能跑」,要一直问到「为什么是这一层、这一步、这个数」。
我们谈什么
- 推理 — 量化、KV cache、批处理、投机解码,吞吐与延迟怎么取舍
- 训练 — 预训练、微调、对齐、数据配比与 scaling law
- 数学 — 线性代数、概率、优化、信息论;先看得懂公式,再谈直觉
- 算力 — GPU、互联、显存、散热,以及成本表上的每一分钱
- 应用 — Agent、RAG、工具调用,能跑起来、能量出来才算数
我们欢迎
- 高质量、有信息增量的内容:经验、数据、跑出来的数字
- 友好、具体、有依据的讨论
- 认真提出的疑问,和认真写出的回答
我们不欢迎
- 灌水与无信息量的内容
- 商业推广与引流
- 钓鱼引战、人身攻击
信息结构
分区按技术栈开——推理、训练、数学、算力、应用。开多少个、叫什么名字,看讨论实际长成什么样再定,不预先摆一排空房间。
帖子用标签做细分类;首页排序由「算法(时间 × 反馈)+ AI 质量信号 + 人工置顶与权重」共同决定;起步阶段以人工管控为主。
内容治理
新帖会经过 AI(jev 模型)的意图与质量评估,疑似灌水、推广、引战的内容会进入人工复核队列,由管理员处理。社区数据仅用于改进排序,不用于广告。