ChatGPT调研报告(哈工大）-94页

资料简介

目录 第一章 ChatGPT 的背景与意义 6 1.1 自然语言处理的发展历史 6 1.2 大规模预训练语言模型的技术发展历程 8 1.3 ChatGPT 技术发展历程 8 1.3.1 ChatGPT 的相关技术 10 1.3.2 Chat…

目录
第一章 ChatGPT 的背景与意义 6
1.1 自然语言处理的发展历史 6
1.2 大规模预训练语言模型的技术发展历程 8
1.3 ChatGPT 技术发展历程 8
1.3.1 ChatGPT 的相关技术 10
1.3.2 ChatGPT 技术发展脉络的总结 11
1.3.3 ChatGPT 的未来技术发展方向 12
1.4 ChatGPT 的优势与劣势 13
1.4.1 ChatGPT 的优势 13
1.4.2 ChatGPT 的劣势 15
1.5 ChatGPT 的应用前景 16
1.5.1 在人工智能行业的应用前景及影响 17
1.5.2 在其他行业的应用前景及影响 17
1.6 ChatGPT 带来的风险与挑战 19
第二章 ChatGPT 相关核心算法 24
2.1 基于 Transformer 的预训练语言模型 24
2.1.1 编码预训练语言模型(Encoder-only Pre-trained Mod-
els) 24
2.1.2 解码预训练语言模型(Decoder-only Pre-trained Mod-
els) 25
2.1.3 基于编解码架构的预训练语言模型(Encoder-decoder
Pre-trained Models) 28
2.2 提示学习与指令精调.30
2.2.1 提示学习概述.30
2.2.2 ChatGPT 中的指令学习 31
2.3 思维链(Chain of Thought,COT) 32

2.4 基于人类反馈的强化学习(Reinforcement Learning with Hu-man Feedback,RLHF) 33

第三章 大模型训练与部署 35
3.1 大模型并行计算技术.35
3.2 并行计算框架 36
3.3 模型部署 40
3.3.1 预训练模型部署的困难 40
3.3.2 部署框架和部署工具 .41
3.3.3 部署技术和优化方法 .43
3.4 预训练模型的压缩 45
3.4.1 模型压缩方案概述 45
3.4.2 结构化模型压缩策略 .45
3.4.3 非结构化模型压缩策略 46
3.4.4 模型压缩小结.46
第四章 ChatGPT 相关数据集 48
4.1 预训练数据集 48
4.1.1 文本预训练数据集 48
4.1.2 代码预训练数据集 50
4.2 人工标注数据规范及相关数据集 52
4.2.1 指令微调工作流程及数据集构建方法 53
4.2.2 常见的指令微调数据集 53
4.2.3 构建指令微调数据集的关键问题 54
第五章 大模型评价方法 59
5.1 模型评价方式 59
5.1.1 人工评价 59
5.1.2 自动评价 60
5.2 模型评价指标 62
5.2.1 准确性 62
5.2.2 不确定性 63
5.2.3 攻击性 63
ChatGPT 调研报告
5.2.4 毒害性 64
5.2.5 公平性与偏见性 65
5.2.6 鲁棒性 66
5.2.7 高效性 67
5.3 模型评价方法小结 68
第六章 现有大模型及对话式通用人工智能系统 69
6.1 现有大模型对比 .69
6.2 对话式通用人工智能系统调研 72
6.2.1 对话式通用人工智能系统.72
6.2.2 不同系统之间的比较 .75
第七章 自然语言处理的未来发展方向 80
7.1 提高 ChatGPT 的能力 80
7.2 加深对模型的认识 81
7.3 实际应用 82
7.4 从语言到 AGI 的探索之路 83