大模型技术原理与应用全景

LINKTOKENVIEW · AI 一站式服务平台

大模型技术原理与应用全景

从 Transformer 到智能体：发展历程 · 场景分类 · 技术原理 · 中外模型性能与价格比较

link tokens, view the future

出品：linktokenview（www.linktokenview.com） · 2026 年 10 月 · 数据截至 2026-10-24

目录

• 摘要
• 一、大模型的发展历程
• 二、大模型按应用场景的分类及名称
• 三、大模型的技术工作原理
• 四、国内外大模型性能、使用效果与价格比较
• 五、市场案例与价格比较
• 六、落地建议：把预算花在刀刃上
• 结语 / 附录：数据来源与说明

摘要

2026 年，大模型已经从"能对话的聊天机器人"演化为"能规划、能调用工具、能完成任务的数字劳动力"。本文系统梳理大模型的发展脉络、技术工作原理与主流分类方法，对国内外代表性模型的性能、使用效果与 API 价格进行横向比较，并以 Uber 与国内银行业两组真实市场案例，测算规模化应用下的成本落差，为企业和开发者提供可操作的选型与降本参考。

核心结论有三条：其一，能力天花板由预训练规模决定，可用性由后训练对齐决定；其二，国内外模型在旗舰档已正面交锋，国产优势集中在主力档与轻量档的性价比；其三，选型的关键已经从"谁最聪明"转向"谁能在预算内跑够次数"，模型路由、前缀缓存与批处理是当代企业账单的三大杠杆。

一、大模型的发展历程

大模型不是一夜出现的产物。从 1950 年香农用概率刻画语言，到 2026 年智能体接管真实业务流程，这条演进主线可以划分为五个阶段：范式每次跃迁，都由"更长的依赖视野 + 更大规模的数据 + 更聪明的训练方法"共同驱动。

图 1　大模型发展历程时间轴（1950—2026）

1.1 统计与神经网络语言模型时代（1950—2016）

早期 n-gram 统计模型只能看到前 2~3 个词；2013 年 word2vec 让词语第一次拥有可计算的向量表示；2014 年注意力机制被引入机器翻译，缓解了 RNN / LSTM 的长程依赖与并行效率问题。这一阶段模型参数量在百万到亿级，尚无法形成通用能力。

1.2 Transformer 与预训练范式（2017—2019）

2017 年 Google 发表《Attention Is All You Need》，提出完全基于自注意力的 Transformer：抛弃循环结构、支持全并行训练、任意两个 token 之间都能直接建立联系。2018 年起"预训练 + 微调"成为新范式——BERT 证明双向编码的理解能力，GPT 系列证明自回归生成的通用性，大模型的技术底座自此定型。

1.3 规模化定律时代（2020—2022）

2020 年 GPT-3 以 1750 亿参数登场，并催生 Scaling Law（规模化定律）：在相当宽的范围内，模型能力随参数量、数据量与算力的幂律增长而可预测地提升，并出现"涌现能力"。2022 年 InstructGPT 引入 RLHF 让模型学会"听懂指令"；同年 11 月 ChatGPT 上线，两个月用户破亿。

1.4 通用对话与多模态时代（2022—2024）

GPT-4 将图文多模态与更强推理带入主流，Gemini、Claude 相继跟进；Llama 系列带动全球开源生态，国内进入"百模大战"。上下文窗口从 4K 扩展到 128K~1M，长文本处理成为标配。

1.5 推理模型与智能体时代（2024—2026）

o1 与 DeepSeek-R1 确立了"推理模型"范式：回答前先进行长思维链推理，并用可验证奖励（RLVR，如数学答案、代码测试）强化推理质量。2026 年的主旋律是三件事：MoE 稀疏架构全面普及、上下文窗口普遍进入百万 token 级、以及模型从"回答问题"走向"完成任务"。

二、大模型按应用场景的分类及名称

同一个模型可以从四个切面交叉定义：模态能力、能力—成本档位、任务场景、开放与部署方式。选型时通常四维联合决策——先看业务需要什么模态与场景，再看预算允许什么档位，最后由合规与数据要求决定部署方式。

图 2　大模型按应用场景的四维分类图谱

2.1 按模态能力分类

• 纯文本模型（LLM）：只处理文本，擅长推理与代码。代表：DeepSeek-V4-Pro、GPT-5.x、GLM-5.x、Kimi-K3。
• 视觉语言模型（VLM）：图文联合理解。代表：GPT-5 Vision、Gemini 3、Qwen3-VL、豆包 Vision。
• 全模态模型（Omni）：同时理解与生成文本、图像、音频、视频。代表：Gemini 3 Pro、Qwen3.8-Omni、阶跃 Step。
• 端侧小模型：部署在手机与 IoT 设备本地运行。代表：Qwen3-4B、面壁 MiniCPM、Gemini Nano。

2.2 按能力与成本档位分类

• 旗舰推理型：面向高难度多步推理，单价最高。代表：GPT-5.2、Claude Opus 5、Gemini 3.1 Pro、Kimi-K3。
• 均衡主力型：日常生产主力，性价比最优。代表：GPT-5.1、Claude Sonnet 5.5、DeepSeek-V4-Pro、豆包 Seed-2.1-pro。
• 轻量极速型：高并发分类、摘要、抽取，成本极低。代表：GPT-5 mini、Gemini 3.8 Flash、DeepSeek-V4-Flash、豆包 Seed-2.0-lite。
• 专用小模型：Embedding 向量模型、Rerank 重排模型、语音识别模型等，承担检索与流程中的确定性环节。

2.3 按任务场景分类

• 通用对话助手：豆包、ChatGPT、腾讯元宝、文心一言——面向 C 端问答、写作与陪伴。
• 代码工程：Claude Sonnet、豆包 Seed-Code、Qwen3-Coder、Kimi-K3——IDE 助手、缺陷定位、自动化排障。
• 长文本解析：Kimi K3、GLM-5.3、Gemini（1M 上下文）——合同、财报、论文与知识库。
• Agent 与工具调用：GPT-5.x、Claude、Qwen-Agent——流程自动化、RPA、多步任务执行。
• 垂域行业模型：华为盘古（工业、气象）、讯飞星火（教育、医疗）、邮储"邮智"（金融）等。

2.4 按开放与部署方式分类

• 闭源商业 API：OpenAI、Anthropic、Google、xAI，开箱即用且含服务等级协议。
• 开源开放权重：DeepSeek、Qwen、GLM、Llama、MiniMax，可下载权重私有化部署与微调。
• 公有云托管：阿里云百炼、火山方舟、腾讯云混元、百度千帆，兼顾合规与弹性扩容。
• 本地 / 私有化部署：基于 vLLM、SGLang 等推理引擎部署开源模型，数据不出域，满足等保与强监管要求。

三、大模型的技术工作原理

理解大模型，只需要抓住四个环节：文本如何变成数字（分词与嵌入）、模型如何"理解"上下文（自注意力）、能力从哪里来（三段式训练）、答案如何一个个字吐出来（自回归解码）。下面逐一拆解。

3.1 从文字到向量：分词与嵌入

模型不直接"读字"。文本先经分词器（Tokenizer）切分为 token——英文约 0.75 个词对应一个 token，中文约 1 个汉字对应 0.6~1 个 token；每个 token 再查嵌入表映射为一个数千维向量，并通过旋转位置编码（RoPE）注入顺序信息。API 计费与上下文长度，全部以 token 为计量单位。

3.2 自注意力：一次矩阵运算完成"全局找相关性"

Transformer 的核心是自注意力机制：每个 token 被投影为 Query（查询）、Key（键）、Value（值）三个向量；用 Q 与所有 K 做点积得到相关性分数，除以 √dk 防止方差爆炸，经 softmax 归一化后对 V 加权求和。直观理解：处理"票"这个字时，模型会把注意力集中在"机票"的"机"和"贵"上，让"票"的新表示融合全句语境。多个注意力头并行工作（多头注意力），分别捕捉语法、语义、共指等不同关系；叠加几十到一百多层后，形成从词法到推理的层级化特征。

图 3　Transformer 解码器块与自注意力计算过程示意

3.3 三段式训练：预训练、监督微调与偏好对齐

• 预训练（Pre-training）：在海量语料（数万亿 token 的网页、书籍、代码）上做"下一个 token 预测"，以自监督方式压缩世界知识。这一步占整体训练算力的 90% 以上，决定模型能力的天花板，产物是不会对话的基座模型。
• 监督微调（SFT）：用数万到数百万条高质量问答示范，教会模型按指令格式作答，方法包括全参数微调、LoRA 与蒸馏，成本远低于预训练。
• 偏好对齐（RLHF / RLVR）：通过奖励模型与 PPO / GRPO / DPO 等算法让输出更符合人类偏好；RLVR 则用可验证的客观答案（数学结果、代码测试通过率）做奖励，是 2025 年以来推理模型质量跃升的关键。

图 4　从预训练到对齐的三段式训练流水线

3.4 推理与生成：自回归、KV Cache 与采样

生成是一个自回归循环：模型根据当前序列输出词表上的概率分布，经 temperature / top-p 采样选出下一个 token，追加后再预测下一个，直到命中结束符。工程上有两个关键点：其一，输入（Prefill）可以一次并行算完，输出（Decode）必须逐 token 串行，因此几乎所有厂商的输出单价都是输入的 4~5 倍；其二，KV Cache 把历史 token 的中间结果缓存下来，每步只计算新 token，是长上下文可行的前提。

图 5　一次请求内部的推理与生成流程

3.5 从问答到执行：智能体闭环

2026 年的主流应用形态是智能体（Agent）：感知（用户意图 + 工具列表 + 检索结果）→ 规划（任务拆解、选择模型档位）→ 行动（调用搜索、代码执行、业务 API）→ 观察（收集返回与报错写回上下文）的循环。代价是上下文随轮次线性甚至平方级累积，这正是企业普遍引入上下文压缩、模型路由与前缀缓存的原因。

图 6　智能体的感知—规划—行动—观察闭环

3.6 效率技术全景

• MoE 稀疏专家：总参数达数千亿但每个 token 只激活数十亿参数，用更少算力换取更大模型容量，已成为旗舰模型的默认架构。
• 量化与蒸馏：把权重压缩到 FP8 / INT4，或让小模型学习大模型的输出分布，是端侧与私有化场景的标配。
• 推理引擎优化：vLLM / SGLang 的 PagedAttention 显存分页、投机解码等，把单卡吞吐提升数倍。
• 长上下文管理：自动压缩、检索增强（RAG）与前缀缓存共同控制有效上下文的成本。

四、国内外大模型性能、使用效果与价格比较

比较大模型需要同时看四张牌：通用与专项评测分数、真实业务任务表现、使用效果（速度、上下文、生态）、以及价格。本章依次展开。

4.1 性能：旗舰档正面交锋，国产梯队清晰

国际主流评测（SWE-bench Verified 代码、GPQA Diamond 科学问答、LMArena 人类盲测）显示，海外旗舰 Claude Opus 5 在 SWE-bench Verified 达到 96.0%，GPT-5.1 约 76.3%，Gemini 3 Pro 约 76.2%，第一梯队差距已收窄到个位数百分点。中文盲测方面，2026 年 9 月 LMArena Chinese 榜单上国际闭源模型仍居前列，国产第一梯队依次为通义千问 Qwen3.8-Max、Kimi-K 系列、豆包、DeepSeek 与 GLM，分差常在置信区间之内。

国内综合竞争力榜单（中国数据研究中心《2026 中国 AI 大模型竞争力 TOP20》）给出清晰梯队：字节豆包（96.2 分，日活超 1 亿）、阿里通义千问（94.8）、DeepSeek（93.5）、智谱 GLM（91.0）、百度文心（89.3）、腾讯混元（87.6）、月之暗面 Kimi（86.2）。三种路径各有千秋：豆包代表流量生态、通义与 DeepSeek 分别代表开源生态与技术开源路线。

4.2 使用效果：五个可感知维度

1. 上下文长度：Gemini 3 Pro、Claude Opus 5、DeepSeek、Kimi 均达 1M token，GPT-5 系列为 400K，豆包主力为 256K。
2. 生成速度：Gemini 3 Pro 约 90 token/秒，GPT-5.1 约 55 token/秒，GPT-5.2 约 33 token/秒；国产轻量档普遍在 60 token/秒以上。
3. 输出上限：GPT-5.1 与 Claude Opus 5 单次可输出 128K token，Gemini 3 Pro 为 66K——长文生成场景差距明显。
4. 生态与接入：OpenAI / Anthropic 覆盖 Responses API、MCP 协议与多云托管（Bedrock、Azure、Vertex）；国内厂商提供火山方舟、百炼、千帆等托管平台与私有化方案。
5. 合规与数据安全：国内业务需模型备案与数据不出域，"国产模型 + 私有化部署"是金融、政务、医疗行业的默认选择。

4.3 价格：输入输出分开计费，输出普遍是输入的 4~5 倍

图 7　国内外主流大模型 API 价格对比（每百万 token，折算人民币）

模型	输入（元 / 百万  token ）	输出（元 / 百万  token ）	上下文	备注
Claude Opus 5	33.60 （ $5.00 ）	168.00 （ $25.00 ）	1M	海外旗舰，智能体编码
GPT-5.2	11.76 （ $1.75 ）	94.08 （ $14.00 ）	400K	海外旗舰
GPT-5.1	8.40 （ $1.25 ）	67.20 （ $10.00 ）	400K	缓存输入  0.84  元
Claude Sonnet 5.5	13.44 （ $2.00 ）	67.20 （ $10.00 ）	1M	海外主力
Gemini 3.1 Pro	13.44 （ $2.00 ）	80.64 （ $12.00 ）	1M	超过  200K  另有阶梯价
Gemini 3.8 Flash	5.04 （ $0.75 ）	25.20 （ $3.75 ）	1M	海外轻量
GPT-5 mini	1.68 （ $0.25 ）	13.44 （ $2.00 ）	400K	海外轻量
Kimi-K3	20.00	100.00	1M	火山方舟托管价
Qwen3.8-Max	12.00	36.00	1M	通义旗舰
豆包  Seed-2.1-pro	6.00	30.00	256K	缓存命中  1.2  元
GLM-5.3	8.00	28.00	1M	火山方舟托管价
DeepSeek-V4-Pro	4.50 （闲时） / 9.00 （高峰）	13.50 / 27.00	1M	缓存命中  0.15~0.30  元
DeepSeek-V4-Flash	1.00 （闲时） / 2.00 （高峰）	4.00 / 8.00	1M	缓存命中低至  0.02  元
豆包  Seed-2.0-lite	0.30	1.80	256K	大规模批处理成本洼地

4.4 价格结构的三点洞察

• 旗舰档已无"国产更便宜"的惯性认知：Kimi-K3、Qwen3.8-Max 的定价与 GPT-5.1 同档甚至更高，说明国产旗舰开始以能力而非价格竞争。
• 国产优势集中在主力与轻量档：DeepSeek-V4-Pro 闲时输出 13.5 元、豆包 Seed-2.0-lite 输出 1.8 元，约为海外同档的 1/5 ~ 1/20。
• 账单主要由架构决定，而非单价决定：缓存命中率、输出长度与批处理折扣对总账单的影响，常常超过"选哪个模型"本身。

五、市场案例与价格比较

价格表只是起点，真实市场中的账单取决于架构与工程。本章选取海外与国内各一组有公开数据支撑的案例，并在同一口径下做成本测算。

5.1 国外案例：Uber 的"降档"工程

2026 年，Uber 公开披露其内部 AI 成本优化实践：年初全年 AI 预算在三个月内耗尽后，工程团队引入开源权重模型与智能模型路由，开展基于真实任务的周度基准测试，为高级模型默认设置中等推理力度，超过 400K token 自动压缩上下文，并为开发者设置月度用量配额。结果是：单次 AI 请求成本下降 34%，单次 AI 会话成本下降 52%，而 token 与会话总量仍在增长。在其代码审查场景中，最贵的开源权重模型单次成本约 0.30 美元，低于最便宜的前沿模型（约 0.50 美元）与最贵的前沿模型（约 2.50 美元）。

同期，微软将内部默认模型切换为 GPT-5.6 的低成本分支 Luna（输入 0.2 美元、输出 1.2 美元/百万 token），并为各部门设置 Token 预算目标；AT&T 通过模型路由把 AI 账单降低 56%，输出质量仅下降约 2%。

5.2 国内案例：银行业的"私有化 + 垂域模型"

2026 年国内大型银行的公开披露显示，大模型已从客服问答深入信贷审批、投研与风控等核心链条：

• 某国有银行：私有化部署 DeepSeek，每年节省 API 调用费约 480 万元；
• 邮储银行：自研"邮智"金融行业大模型，打造百亿参数垂域模型矩阵，缓存占用整体下降约 72%，推理成本最高节省超 87%，模型上线周期由两周缩短至一天；
• 中信银行：私有化部署 DeepSeek-V4 与 GLM 后，日间算力综合利用率超过 85%。

技术路线上，"开源模型 + 私有化部署 + 垂域微调"已成为强监管行业的共同选择：数据不出域满足合规，垂域数据微调补齐行业知识，自建算力摊薄长期成本。

5.3 同一口径下的价格比较

图 8　中外市场案例与统一口径下的账单测算

以"月度 10 亿 token、输入输出比 9:1"为统一口径测算：全部使用 Claude Opus 5 约需 4.7 万元；GPT-5.1 约 1.43 万元；采用"70% 轻量 + 30% 主力"的海外混合路由约 6283 元；全部使用 DeepSeek-V4-Pro 闲时档约 5400 元；而"80% Flash + 20% Pro"的国产混合路由仅约 2520 元——约为旗舰方案的 1/19。再叠加批处理半价与缓存命中折扣，成本洼地进一步下探。这组数字解释了 2026 年企业选型逻辑的转变：从"谁最聪明"转向"谁能在预算内跑够次数"。

六、落地建议：把预算花在刀刃上

1. 按任务分层路由：让 70%~80% 的高频简单请求（分类、摘要、FAQ）走轻量档，仅把复杂推理交给旗舰，账单可下降 50% 以上。
2. 用满缓存与批处理：固定系统提示词开启前缀缓存（约 0.1 折），离线任务走 Batch API（普遍半价）。
3. 控制上下文与输出长度：超过 400K 自动压缩历史；限制 max_tokens，避免"思考 token"失控。
4. 强监管数据选私有化：金融、政务、医疗优先开源模型 + 私有化部署，用垂域微调补齐行业知识。
5. 建立评测闭环：用真实业务任务做周度基准测试，而不是只看通用榜单；换模型前先算"每成功任务成本"。

结语

大模型的能力曲线仍在陡峭上行，但行业竞争的重心已经从"参数竞赛"转向"每 token 的产出效率"。对企业而言，理解技术原理是为了看清边界，比较性能与价格是为了算清账本，而最终决定成败的，是把合适的模型放进合适的业务环节。linktokenview 致力于成为企业 AI 落地的一站式服务平台，帮助团队在模型、算力与业务之间架起高效桥梁。

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/linktokenview/article/details/168999406