lexuecode 课程简介
贪心学院-大模型微调实战营-应用篇视频课程，由乐学编程网lexuecode.com整理分享。本课程包括大模型基础，大模型指令微调，常用的开源模型微调，大模型对齐，垂直领域大模型应用5个阶段，内容涵盖大模型微调应用场景，大模型基座，LoRA参数微调，模型压缩，QLoRA参数微调，DeepSpeed训练框架解析，Megatron-LM训练框架解析，Flash Attention技术应用，微调模型Benchmark，ChatGLM，LLaMA，Mistral，MoE，大模型对齐，RLHF，DPO，垂直领域大模型应用等前沿技术等全方位知识讲解，并结合8个实战项目，帮助同学们实现学以致用。
相关课程
课程目录
├── 01 第一周/
│ └── 01 第一节 2024年1月21日/
│ └── 01 开营+大模型介绍、Transformer/
│ ├── [ 78M] 01 开营.mp4
│ ├── [118M] 02 大模型爆发式发展.mp4
│ ├── [ 64M] 03 大模型是如何炼成的.mp4
│ ├── [104M] 04 Transformer的应用.mp4
│ └── [192M] 05 Self-Attention.mp4
├── 02 第二周/
│ └── 01 第二节 2024年1月28日/
│ └── 01 Transformer、Encoder、Advanced/
│ ├── [182M] 01 Transformer Part1.mp4
│ ├── [178M] 02 Transformer Part2.mp4
│ ├── [ 53M] 03 Encoder-based and Decoder Based LLMs.mp4
│ └── [105M] 04 Advanced Topics.mp4
├── 03 第三周/
│ └── 01 第三节 2024年2月25日/
│ └── 01 大模型微调概览 Lora微调/
│ ├── [178M] 01 大模型微调概览.mp4
│ ├── [204M] 02 Lora微调-Lora算法.mp4
│ └── [216M] 03 Lora微调-从零实现Lora到Roberta.mp4
├── 04 第四周/
│ └── 01 第四节 2024年3月3日/
│ └── 01 Alpaca、AdaLoRA、QLoRA/
│ ├── [465M] 01 Alpaca.mp4
│ ├── [257M] 02 AdaLoRA.mp4
│ └── [210M] 03 QLoRA.mp4
├── 05 第五周/
│ └── 01 第五节 2024年3月17日/
│ └── 由乐学编程网lexuecode.com
│ └── 01 Prefix Tuning、Quantization/
│ ├── [214M] 01 Prefix Tuning.mp4
│ ├── [118M] 02 Quantization01.mp4
│ ├── [148M] 03 Quantization02.mp4
│ └── [ 54M] 04 Quantization Methos for LLM.mp4
├── 06 第六周/
│ └── 01 助教补充课 2024年3月24日/
│ └── 01 llama介绍&运行&量化&部署&微调/
│ ├── [164M] 01 llama介绍&运行&量化&部署&微调01.mp4
│ └── [239M] 02 llama介绍&运行&量化&部署&微调02.mp4
├── 07 第七周/
│ └── 01 第六节 2024年3月31日/
│ └── 01 Distributed Computing、Flash Attention/
│ ├── [235M] 01 GPU时间计算.mp4
│ ├── [186M] 02 Distributed Computing.mp4
│ ├── [291M] 03 ZeRO-123 and FSDP.mp4
│ └── [200M] 04 Flash Attention.mp4
├── 08 第八周/
│ └── 01 第六节补充课/
│ └── 01 Flash Attention cont、微调Mistral 7B/
│ ├── [205M] 01 Flash Attention cont.mp4
│ ├── [368M] 02 Self-Attention的分块计算.mp4
│ ├── [155M] 03 分块模式中计算O.mp4
│ ├── [ 45M] 04 Mixture of Expert Model.mp4
│ └── [197M] 05 微调Mistral 7B.mp4
├── 09 第九周/
│ └── 01 第七节 2024年4月14日/
│ └── 01 强化学习/
│ ├── [270M] 01 RLHF介绍.mp4
│ ├── [123M] 02 强化学习.mp4
│ ├── [225M] 03 Multi-armed Bandit.mp4
│ └── [342M] 04 The goal of Agent.mp4
├── 10 第十周/
│ └── 01 第七节补充课 2024年4月17日/
│ └── 01 Optimal Policy、Intro to Monte Carlo/
│ ├── [258M] 01 Optimal Policy.mp4
│ └── [123M] 02 Intro to Monte Carlo.mp4
└── 资料/
