西藏四隙网络技术有限公司

大模型技術(shù)培訓(xùn)

第一天：基礎(chǔ)篇與技術(shù)概覽
· 上午（3小時）
o 大模型技術(shù)基礎(chǔ)與*進(jìn)展
  大模型的定義與關(guān)鍵技術(shù)概覽
  生成式人工智能(AIGC)概念
  ChatGPT歷史與發(fā)展
  一些關(guān)鍵技術(shù)
  人工智能實(shí)驗(yàn)環(huán)境的搭建
  機(jī)器學(xué)習(xí)環(huán)境與深度學(xué)習(xí)環(huán)境
  Python編程與數(shù)據(jù)科學(xué)工具庫介紹
  GPU與cuda
  深度學(xué)習(xí)框架：PyTorch
  ChatGPT模型背后的NLP基礎(chǔ)知識
  深度學(xué)習(xí)算法基礎(chǔ)
  MLP與CNN、RNN
  特殊字符、分詞與停用詞處理技術(shù)
  詞向量與Embedding
  介紹大模型前沿應(yīng)用
  文心一言、通義千問等
  Midjourney等

o 企業(yè)應(yīng)用場景案例分析
  金融機(jī)構(gòu)中的智能風(fēng)險評估系統(tǒng)案例
  教育機(jī)構(gòu)的個性化學(xué)習(xí)路徑推薦系統(tǒng)案例

· 下午（3小時）
o 大模型的核心技術(shù)深入
  Transformer架構(gòu)的深入解析與優(yōu)化
  Transformer中的block
  自注意力機(jī)制與多頭注意力
  位置編碼（為什么可以拋棄RNN）
  Batch Norm與Layer Norm
  解碼器的構(gòu)造
  chatGPT的原理介紹
  指示學(xué)習(xí)與InstructGPT
  相關(guān)數(shù)據(jù)集
  有監(jiān)督微調(diào)（SFT）
  從人類反饋中RL的思路
  獎勵建模（RM）
  運(yùn)用PPO改進(jìn)
o 企業(yè)應(yīng)用場景案例分析
  法律行業(yè)的法條自動生成案例
  法律行業(yè)的智能合同審核與咨詢案例
o 實(shí)戰(zhàn)演練：基礎(chǔ)模型的使用與體驗(yàn)
  演示如何使用*的開源大模型ChatGLM3
  學(xué)員動手操作，體驗(yàn)?zāi)Ｐ偷幕竟δ芗?特性

第二天：進(jìn)階篇與實(shí)戰(zhàn)應(yīng)用
· 上午（3小時）
o 大模型的微調(diào)和優(yōu)化
  ChatGLM部署
  ChatGLM3-6B介紹
  ChatGLM3搭建流程
  應(yīng)用場景（工具調(diào)用、代碼執(zhí)行）
  權(quán)重量化
  ChatGLM3原理
  Code Interpreter
  多模態(tài)CogVLM
  WebGLM搜索增強(qiáng)
  大模型訓(xùn)練的高效算法與優(yōu)化技術(shù)
  LoRA
  Prefix Tuning
  P-Tuning
  Prompt Tuning
  freeze

o 企業(yè)應(yīng)用場景案例分析
  金融科技中的自動化報告生成與分析案例
  醫(yī)療研究中的文獻(xiàn)檢索與知識提取案例
  教育技術(shù)中的智能教學(xué)輔助工具案例
· 下午（3小時）
o 實(shí)戰(zhàn)演練：大模型的微調(diào)實(shí)踐
  演示ChatGLM3微調(diào)過程
  數(shù)據(jù)準(zhǔn)備
  模型調(diào)整
  結(jié)果評估
  學(xué)習(xí)LangChain所需的知識儲備
  詞嵌入與語義空間
  高維向量的快速模糊匹配
  局部敏感哈希（LSH）
  向量數(shù)據(jù)庫
  建立企業(yè)級對話系統(tǒng)
  LangChain的原理
  大模型利用的難點(diǎn)與痛點(diǎn)
  Langchain的基本思路
  關(guān)鍵組件

o 大模型的部署與運(yùn)維
  模型部署的*實(shí)踐，包括容器化、云服務(wù)等
  ChatGLM.cpp等
  Docker簡介
  K8s簡介
  運(yùn)維中的監(jiān)控、調(diào)優(yōu)與安全性管理

o 企業(yè)應(yīng)用場景案例分析
  企業(yè)內(nèi)部的知識管理系統(tǒng)與智能助手案例
  衛(wèi)生行業(yè)的智能助手

大模型技術(shù)培訓(xùn)