[709] 从0到1训练私有大模型 ,企业急迫需求,抢占市场先机慕课实战课

[709] 从0到1训练私有大模型 ,企业急迫需求,抢占市场先机风筝自习室-课程资源-网盘资源风筝自习室
[709] 从0到1训练私有大模型 ,企业急迫需求,抢占市场先机慕课实战课
此内容为付费阅读,请付费后查看
500积分
付费阅读

image

 

网站资源均收集于公开网络,仅供学习和交流。版权归版权人所有,所标价格为资源收集整理费用,如喜欢作品请支持正版。

网盘链接:

1. 课程介绍

  • 1-1 【导航】课程导学&让你快速了解课程
  • 1-2 【内容安排】课程安排和学习建议
  • 1-3 【行业发展】ChatGPT对行业、社会有什么影响,我们要如何应对
  • 1-4 【发展史】ChatGPT的简要历史
  • 1-5 【学习须知】本课程为什么使用gpt2而不是gpt3

2. 训练模型与开发平台环境

  • 2-1 【认知】为什么要引入paddle?平时使用torch,学习paddle貌似没用怎么办?
  • 2-2 【框架】paddle和torch与tensorflow对比
  • 2-3 【NLP工具和预训练模型】paddleNLP和huggingface
  • 2-4 【平台】介绍aistudio
  • 2-5 【工具】介绍基于gpt4的IDE cursor

3. chatGPT初始技术词向量原理剖析与实战

  • 3-1 【认知】词向量,词向量与gpt的关系
  • 3-2 【语言模型】语言模型和评估指标PPL
  • 3-3 【词向量模型】word2vec-cbow和skipgram
  • 3-4 【softmax加速】是softmax 树型优化
  • 3-5 【softmax加速】softmax负采样优化
  • 3-6 【数据准备与预处理】word2vec实战(1)
  • 3-7 【数据准备与预处理】word2vec实战(2)
  • 3-8 【模型训练】word2vec实战-模型开发和训练(1)
  • 3-9 【模型训练】word2vec实战-模型开发和训练(2)
  • 3-10 【激活函数】常见七种激活函数对比
  • 3-11 【预训练语言模型】RNN-LSTM-ELMO
  • 3-12 本章梳理小结

4. chatGPT基石模型——基于Transformer架构的语言模型

  • 4-1 本章介绍
  • 4-2 seq2seq结构和注意力
  • 4-3 seq2seq-attention的一个案例
  • 4-4 transformer的multi-head attention 多头注意力机制
  • 4-5 transformer的残差链接-解决梯度消失问题
  • 4-6 transformer的layernorm-归一化提升训练稳定性
  • 4-7 transformer的decoder 解码器
  • 4-8 sparse-transformer 稀疏模型
  • 4-9 transformer-xl 解决长序列的问题(1)
  • 4-10 transformer-xl解决长序列的问题(2)
  • 4-11 本章梳理总结

5. 基于Transformer另一分支Bert系列分析与实战

  • 5-1 本章介绍
  • 5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
  • 5-3 常见 subword 算法(BPE-wordpiece)
  • 5-4 常见的NLP任务
  • 5-5 bert 预训练模型
  • 5-6 bert情感分析实战—-paddle(1)
  • 5-7 bert情感分析实战—-paddle(2)
  • 5-8 evaluate和predict方法—-paddle
  • 5-9 bert(transformer encoder)主要源码分析—-paddle(1)
  • 5-10 bert(transformer encoder)主要源码分析—-paddle(2)
  • 5-11 bert(transformer encoder)的完整源码cache部分分析—-paddle
  • 5-12 Ernie文心一言基础模型(1)
  • 5-13 Ernie文心一言基础模型(2)
  • 5-14 plato百度对话模型(1)
  • 5-15 plato 百度对话模型(2)
  • 5-16 本章总结

6. chatGPT的核心技术——强化学习

  • 6-1 RL是什么&为什么要学习RL
  • 6-2 强化学习章介绍
  • 6-3 RL基础概念
  • 6-4 RL马尔可夫过程
  • 6-5 RL三种方法(1)
  • 6-6 RL三种方法(2)
  • 6-7 DQN和DQN的2种改进算法(1)
  • 6-8 DQN和DQN的2种改进算法(2)
  • 6-9 actor-critic(1)
  • 6-10 actor-critic(2)
  • 6-11 TRPO+PPO(1)
  • 6-12 TRPO+PPO(2)
  • 6-13 DQN代码实践–torch-1
  • 6-14 DQN代码实践–torch-2
  • 6-15 DoubleDQN+DuelingDQ代码–torch
  • 6-16 REINFORCE代码–torch
  • 6-17 PPO代码实践–torch
  • 6-18 强化学习-本章总结

7. chatGPT技术演变——从GPT 1 开始的大模型发展与演化

  • 7-1 GPT1 模型
  • 7-2 GPT2 模型
  • 7-3 GPT3 模型-1
  • 7-4 GPT3 模型-2
  • 7-5 gpt-codex 基于GPT技术开发的模型
  • 7-6 alphaCode基于GPT技术开发的模型-1
  • 7-7 alphaCode基于GPT技术开发的模型-2
  • 7-8 instruct-gpt 基于GPT技术开发的模型-1
  • 7-9 instruct-gpt 基于GPT技术开发的模型-2
  • 7-10 Antropic LLM大型语言模型
  • 7-11 GPT-本章总结

8. RLHF训练类ChatGPT模型代码实战

  • 8-1 chatGPT训练实战
  • 8-2 SFT有监督的训练-数据处理
  • 8-3 SFT有监督训练-trainer
  • 8-4 SFT有监督训练-train
  • 8-5 RM训练-model+dataset(1)
  • 8-6 RM训练-model+dataset(2)
  • 8-7 RM训练-trainer
  • 8-8 RM训练-train-rm
  • 8-9 RLHF强化学习人类反馈的训练-dataset
  • 8-10 RLHF强化学习人类反馈的训练-model-base
  • 8-11 RLHF强化学习人类反馈的训练-model-opt
  • 8-12 RLHF强化学习人类反馈的训练-generation(1)
  • 8-13 RLHF强化学习人类反馈的训练-generation(2)
  • 8-14 RLHF强化学习人类反馈的训练-exp_maker(1)
  • 8-15 RLHF强化学习人类反馈的训练-exp_maker(2)
  • 8-16 RLHF强化学习人类反馈的训练-buffer-utils
  • 8-17 RLHF强化学习人类反馈的训练-buffer-loss
  • 8-18 RLHF强化学习人类反馈的训练-trainer
  • 8-19 RLHF强化学习人类反馈的训练-main

9. 低成本微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2” 项目

  • 9-1 参数高效微调方法 peft-bitfit
  • 9-2 参数高效微调方法 prefix-t
  • 9-3 参数高效微调方法 prompt-t
  • 9-4 参数高效微调方法 p-tuning
  • 9-5 参数高效微调方法 p-tuningv2
  • 9-6 参数高效微调方法 lora
  • 9-7 高效调参方案实现 prompt_tuning-1
  • 9-8 高效调参方案实现 prompt_tuning-2
  • 9-9 高效调参方案实现 p-tuning
  • 9-10 高效调参方案实现 prefix-tuning
  • 9-11 高效调参方案实现 lora-01
  • 9-12 高效调参方案实现 lora-02
  • 9-13 高效调参方案实现 lora-03
  • 9-14 AdaLora微调ChatGLM2 实战 -1
  • 9-15 AdaLora微调ChatGLM2 实战 -2
  • 9-16 PEFT-本章总结

10. langchain+训练大模型ChatGLM2 构建“知识库问答”

  • 10-1 基于langchain的应用
  • 10-2 langchain初探与实战
  • 10-3 langchain实现 mini-QA
  • 10-4 工业场景知识库LLM助手的设计
  • 10-5 langchain和知识增强LLM总结

11. 课程总结

  • 11-1 课程总结(1)
  • 11-2 课程总结(2)
© 版权声明
THE END
加入本站 VIP,免费下载本站所有内容
点赞34 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容