本质课程笔记，b站原up主黑马程序员，uid：37974444

课程链接https://www.bilibili.com/video/BV1yjz5BLEoY?p=2&vd_source=dd76ca9ec2d2ea069985caea3ff4d2b7

本质我自己的学习笔记，学到什么写什么！按照我自己的思维发散程度学习（）叠甲中！

大模型的接入

大模型接入一共有两种方式：

第一种是根据Ollama的框架进行本地部署各种蒸馏模型

第二种是借助云端大模型

蒸馏是一种模型压缩技术。简单来说，就是**“大老师带小学生。就是 用一个参数量巨大、能力极强的模型去训练一个参数量较小的模型，让小模型尽量学会大模型的“推理逻辑”和“知识分布”，蒸馏后的模型体积小、运行快，对显存要求低，非常适合在个人电脑（本地）运行，且性能远超同尺寸的非蒸馏模型。

（其实我更想用LMstudio)

这里我薅的是阿里云百炼API

pip下载openai后拿到阿里云提供的openai兼容的API代码：