专题零：大模型、智能体、RAG具身智能知识大串讲 一、大模型与智能体核心理论 1. 生成式大语言模型技术演进：从 Transformer 到 GPT-4o 2. 大模型底层技术原理：注意力机制与预训练范式 3. 智能体定义与技术边界：从单模型到自主智能体 4. 智能体典型架构范式：ReAct、AutoGPT、CAMEL 5. 大模型智能体的行业应用场景与价值落地 6. 主流开源大模型生态（LLaMA、Qwen、Llama3）对比 7. 基础提示策略：零样本、少样本、思维链（CoT） 三、高效微调与模型量化 1. 指令微调技术原理与数据构建流程 2. 微调训练框架：LoRA、QLoRA、Adapter 对比 3. 模型量化技术：INT4/INT8 量化原理与显存优化 4. 微调评估体系：自动指标与人工评估结合 5. 开源微调工具链介绍 四、知识图谱、记忆机制及RAG 1. 智能体记忆机制：短期记忆与长期记忆设计 2. 向量数据库原理：Embedding 生成与相似度检索 3. RAG 技术架构：检索、增强、生成全流程 4. RAG 优化策略：Hybrid 检索、重排序、幻觉抑制 5. 长文本处理技术：分段摘要与上下文管理 五、具身智能核心概念与技术架构 1. 具身智能概述，感知-思考-行动 2. 技能学习：模仿学习与强化学习 3. 任务规划：经典与学习型规划 4. VLA智能体：多模态融合:人机交互：多模态接口与信任建 5. 具身智能的起源与发展历程:大模型为具身智能带来的变革与赋能 6. Embodied Al的定义、特点与核心要素 五、 mHC流式大模型进展 1. mHC流形约束与网络拓扑优化：mHC的工程实现与优化策略 2. IQuest-Coder的流式学习 3. Code-Flow 训练范式详解 4. 下一代嵌入模型与RAG进阶 七、工具调用与推理规划 1. 外部工具调用技术原理与函数调用规范 2. 工具选择与调度策略：多工具协同与冲突处理 3. 推理增强技术：Tree of Thoughts（ToT）与 Step-back Prompting 4. 任务规划算法：分解、调度、执行闭环 5. 复杂场景下的多工具组合调用实战

专题一：AI 图像生成实战与 Stable Diffusion 全流程应用 项目：图片生成、编辑（Qwen-image-edit） 1. Stable Diffusion 核心技术与工作流搭建 · 基础模块深度解析：潜空间扩散原理、文生图与图生图机制、局部重绘技术、高清修复算法 · 采样器与参数调优：Euler/DDIM/DPM++ 采样器对比、步数 - 质量曲线分析、CFG Scale 参数实验 · 模型生态与选型：SD1.5/SDXL/SD3 架构对比、Realistic Vision/DreamShaper/Anything V4 模型应用、Checkpoint Merging 模型融合 2. 高级控制与风格化工具链 · ControlNet 精准控制：Canny/Depth/OpenPose/Scribble/Segmentation 模式解析、多 ControlNet 联合控制策略、电商产品生成实战 · LoRA 微调技术：低秩适应原理、风格与角色 LoRA 训练、自定义训练数据准备指南 3. 企业级部署与自动化流程 · 生产环境部署：显存与硬件配置建议、Docker 容器化部署、Automatic1111 多用户 WebUI 管理 · 模型管理与优化：模型版本控制、FP16/INT8 量化压缩、TensorRT 推理加速、GDPR 合规日志系统 4. 商业级图像生产管线 · 全流程质量管控：提示词模板库建设、批量生成与 A/B 测试、行业应用案例 · API 化服务集成：RESTful API 接口设计、队列管理与负载均衡、成本控制与 Token 优化

专题二：AI 视频生成技术与动态内容生产 项目：短视频/微电影创作（wan2.2-t2v）   1. 视频生成技术栈解析 · 技术原理深度剖析：时空扩散模型、运动建模与光流估计、FILM/RIFE 帧插值算法 · 工具生态全景图：Runway Gen-2 与 Pika Labs 应用、Sora 技术架构分析、Stable Video Diffusion 与 AnimateDiff 部署 2. 文生视频工业化流程 · 提示词工程进阶：运动描述语法、镜头语言模拟、物理模拟描述 · 参数调优与实战：时长 - 质量平衡策略、分辨率与帧率优化、品牌宣传片分镜设计与一致性保持 3. 图生视频与动态化改造 · 静态资产动态化：图像序列化分析、深度图引导生成、蒙版控制区域运动 · 高级功能实战：Runway Motion Brush 局部控制、导演模式多镜头生成、3D 模型转多角度视频 4. 视频后处理与质量提升 · 常见问题解决方案：闪烁抑制与时序一致性、跳变修复与插值、Topaz Video AI 超分集成 · 工作流与架构优化：分层生成策略、混合生成、GPU 集群调度与 ROI 分析

专题三：大模型时代的具身智能实战： 项目：机械手臂抓取\智能小车移动（VLA） 1. 具身智能核心概念与技术架构 · 具身智能概述：感知-思考-行动:技能学习：模仿学习与强化学习 · 任务规划：经典与学习型规划 · VLA智能体：多模态融合:人机交互：多模态接口与信任建 · 具身智能的起源与发展历程:大模型为具身智能带来的变革与赋能 · Embodied Al的定义、特点与核心要素 2.基于强化学习机械臂抓取 · 强化学习算法（PPO） · 强化学习仿真环境配置 · 控制策略Sim2Real迁移 3.基于VLA视觉语言动作模型的模仿学习抓取 · VLA（视觉-语言-动作）智能体架构介绍 · 多模态预训练方法 · 指令微调与适应性学习 · 实际应用案例解析（如RT-2）

专题四：企业级知识库搭建 项目：企业级知识库问答系统（RAG、知识图谱、大模型） 1. 知识工程与数据预处理 · 多源数据整合：PDF/PyPDF2 解析、Office/unstructured 处理、网页爬取与数据库直连、表格提取与公式识别 · 文本预处理流程：噪声去除、规范化处理、实体识别、语义分块与重叠窗口设计 2. 向量化与检索系统架构 · 嵌入模型选型：BGE/text2vec/Instructor 开源模型对比、OpenAI / 文心 / 通义 API 评估、领域微调策略 · 向量数据库部署：ChromaDB/Milvus/Weaviate/Qdrant 选型、分片与副本策略、监控告警系统搭建 3. 检索增强生成（RAG）系统实现 · 多级检索架构：混合检索、交叉编码器重排序、MMR 多样化检索算法 · 提示词与幻觉抑制：场景化模板管理、Few-shot 示例库、引用标注与置信度阈值控制 4. 高级分块与索引策略 · 语义感知分块：基于 NLTK/spaCy 的边界检测、动态分块、层次化金字塔结构 多粒度索引架构：混合粒度存储（句子 / 段落 / 文档）、图结构增强索引、时间序列索引

专题五：多智能体系统开发与协作实战 项目：多智能体crewAI多角色助理（如旅客行程咨询） 1. 多智能体系统架构与通信协议 · 框架选型对比：AutoGen、CrewAI、LangGraph架构 · 角色定义与分工：角色模板设计、能力矩阵构建、动态分配机制、市场分析团队实战 2. 智能体通信与协作机制实现 · 通信协议设计：消息格式标准化、异步通信模型、上下文共享、冲突检测与解决 · 协作模式实现：链式协作、星型协作、网状协作、产品需求文档协作编写系统实战 3. 任务规划与执行监控 · 分层规划系统：HTN 规划器、任务依赖图生成、资源约束调度、动态重规划 · 执行监控与可视化：智能体状态监控、任务进度跟踪、性能指标收集、Grafana 监控面板开发 4. 多智能体系统优化与评估 · 系统性能优化：通信开销优化、负载均衡策略、缓存共享、容错与恢复方案 · 评估体系构建：协作效果评估、效率评估、成本评估、A/B 测试平台搭建

专题六：大模型强化学习微调（RLHF/RLAIF）实战（可选） 1. 强化学习对齐技术原理 · RLHF 流程与算法：SFT→奖励模型→强化学习全流程、PPO 算法、离线 / 在线 RL 对比、最小化实验环境搭建 · 奖励模型设计：维度化评分标准、Pairwise 排名损失、多目标建模、7B 参数领域专用奖励模型训练 2. 偏好数据集构建与处理 · 数据收集策略：人工标注流程、合成数据生成、领域适应增强、10,000 条金融问答偏好数据集构建 · 数据质量评估：标注者间一致性计算、偏差检测与修正、数据平衡、Anthropic HH/OpenAI Summarize 开源数据集应用 3. RLHF 训练全流程实现 · PPO 训练工程实践：四模型架构、KL 散度控制、梯度累积与混合精度训练、DeepSpeed Chat 框架实战 · 训练稳定性保障：监控指标设计、超参数调优、灾难性遗忘应对、早期停止策略 4. 替代对齐技术实战 · DPO（直接偏好优化）：数学原理、端到端优化优势、性能对比、TRL 库实现流程 · 前沿技术应用：RLAIF、Constitutional AI、条件强化学习、基于原则的 AI 助手对齐

专题七：大模型高效微调与量化部署实战（可选）   1. 参数高效微调技术全景 · LoRA 系列技术：低秩分解原理、DoRA/VeRA/LoRA + 变体对比、参数配置策略、PEFT 库 CodeLlama 微调实战 · 其他高效微调技术：Adapter 插件式设计、Prefix Tuning/P-Tuning、IA3 方法、有限数据下不同微调方法对比 2. 模型量化压缩实战 · 量化技术原理与实现：PTQ、QAT、混合精度策略、AutoGPTQ 13B 模型 4bit 量化实战 · 量化性能评估：准确性对比、推理速度测试、内存占用分析、量化模型评估流水线建立 3. 大模型推理优化 · 推理引擎应用：vLLM、TensorRT-LLM、TGI、70B 模型 vLLM 部署与吞吐量优化 · 高级推理优化技术：推测解码、持续批处理、FlashAttention2 集成、推理速度 2 倍提升实战

培训费用：价格：4599元/人，包括培训费、培训期间算力费、课件资料费。

五、主讲师资：

计算机博士，硕士生导师，紫金山英才江北计划高层次创新创业人才。完成了50多个人工智能项目，广泛应用于能源、医疗、交通、气象、银行等多个领域，公开出版《强化学习》《Python深度学习实践》《自然语言处理》等11部专著和译著。 

主讲人兼备大学老师和企业CEO双重身份，已经有11本人工智能领域的专著（京东等平台有售，数十所大学使用作为研究生教材，进入多家大学图书馆名录）。可以结合实践项目进行重点关注内容的讲解和实操。

复制搜一搜

复制搜一搜

暂无评论