huggingface官方的一个 对齐 (align)...
- 蚁工厂
- 2025-01-14 10:05:48
huggingface官方的一个 对齐 (align) 小型语言模型的课程
github.com/huggingface/smol-course
教你如何调教小模型，涵盖了从初始训练到生产部署的各个环节，让学员掌握微调小型语言模型的实用技能。具体包括以下几个模块：
⭐指令微调 (Instruction Tuning): 学习监督式微调、聊天模板和基本的指令跟随。
⭐偏好对齐 (Preference Alignment): 探索 DPO 和 ORPO 技术，使模型与人类偏好对齐。
⭐参数高效微调 (Parameter-efficient Fine-tuning): 学习 LoRA、提示调整和其他高效的适配方法。
⭐评估 (Evaluation): 使用自动基准测试并创建自定义领域评估。
⭐视觉-语言模型 (Vision-language Models): 调整多模态模型以适应视觉-语言任务。
⭐合成数据集 (Synthetic Datasets): 创建和验证用于训练的合成数据集。
⭐推理 (Inference): 高效地进行模型推理。
⭐顶点项目 (Capstone Project): 刷榜~~
AI创造营
github.com/huggingface/smol-course
教你如何调教小模型，涵盖了从初始训练到生产部署的各个环节，让学员掌握微调小型语言模型的实用技能。具体包括以下几个模块：
⭐指令微调 (Instruction Tuning): 学习监督式微调、聊天模板和基本的指令跟随。
⭐偏好对齐 (Preference Alignment): 探索 DPO 和 ORPO 技术，使模型与人类偏好对齐。
⭐参数高效微调 (Parameter-efficient Fine-tuning): 学习 LoRA、提示调整和其他高效的适配方法。
⭐评估 (Evaluation): 使用自动基准测试并创建自定义领域评估。
⭐视觉-语言模型 (Vision-language Models): 调整多模态模型以适应视觉-语言任务。
⭐合成数据集 (Synthetic Datasets): 创建和验证用于训练的合成数据集。
⭐推理 (Inference): 高效地进行模型推理。
⭐顶点项目 (Capstone Project): 刷榜~~
AI创造营
