大型语言模型（LLMs）简介

掌握大型语言模型（LLMs）的基础原理和实际应用。本内容通过理论知识和实践示例的结合，将帮助你全面理解LLMs及其在人工智能领域中的重要性。内容结束时，你将能够解释这些先进模型在创造创新AI解决方案中的关键作用。

| 1 大语言模型(Large Language Models)

大型语言模型（LLMs）正在通过使计算机能够理解和生成类似人类的文本来革新人工智能。

在本文中，你将学习LLMs如何生成类似人类的响应。

一个语言模型是一个可以找出接下来最有可能出现哪些单词的程序。

语言模型是从称为语料库的文本主体中学习的。因为某些单词通常在特定上下文或语料库中出现在其他单词之后，所以语言模型可以使用它来预测下一个单词

那么，AI如何选择下一个单词呢？  语言模型测量语料库中单词跟随其他单词和序列的频率。然后它可以计算概率。

为了更好地理解预测，概率用百分比表示。例如：

• 5% ：不太可能

• 50% ：可能性比较大

一旦语言模型选择了下一个单词，该单词将被添加到文本中。模型会重复这一过程，直到生成完整的输出（例如句子、电子邮件、故事等）。

语言模型中的一个重要设置是温度。它影响输出的随机性（或“创意”）。

温度控制着生成文本的创造性和随机性。比如，低温情况下他可能对玩更感兴趣，但高温有可能就去睡觉了

在温度为 0 时，模型的预测没有随机性。我们称这种情况为确定性。

大型语言模型（LLMs）是生成式人工智能（GenAI）理解和生成自然语言的关键。大型语言模型（LLM）的语料库包含了来自互联网上各种各样的文本（包括网页、书籍、文章和公开对话），涵盖了广泛的主题。

| 2 大语言模型如何工作

LLMs（大语言模型）之所以强大，是因为它们可以遵循你的指示，帮助你完成工作。

在本小节中，你将学习可以给 LLM 分配的不同任务，以提高你的生产力。让我们开始吧！

LLMs 能做的远不止预测下一个词。通过学习自然语言，它们在遵循人类指示方面变得非常擅长。

因为 LLMs 能够遵循人类指示，我们可以通过给它们分配任务来节省时间。

下面我们可以做一个小的测试:

我们尝试让AI去总结一段话：

定期的身体活动是对健康至关重要的。它可以帮助控制体重，降低心脏病风险，改善心理健康和情绪，加强骨骼和肌肉。锻炼不一定剧烈；即使是适度的身体活动也对健康有益。步行、骑自行车、游泳，甚至园艺，都可以保持活跃，改善健康和福祉。

在ChatGPT 4o 下我们得到了这样的回复:

定期进行身体活动，即使是适度的，比如步行、骑自行车、游泳和园艺，对于保持健康体重、降低心脏病风险、改善心理健康以及增强骨骼和肌肉都至关重要。

在Gemini下我们得到了这样的回复

LLM 的语料库通常包括不同语言的文本，因此大多数 LLM 都是多语言的。

让我们试试翻译吧！请让 LLM 将这封电子邮件翻译一下。

请为以下电子邮件编写一段英文摘要：

"亲爱的客户，我们遗憾地通知您，由于所订购的产品库存不足，您的订单编号CN700593已被取消。对此给您带来的不便我们深感抱歉，并邀请您浏览我们的在线目录，查看其他可供选择的产品。此致敬礼，客户服务部。"

ChatGPT 4o

亲爱的客户， 我们遗憾地通知您，由于所订购的产品已无库存，您的订单编号CN700593已被取消。对此给您带来的不便我们深感抱歉，并邀请您浏览我们的在线目录，查看其他可供选择的产品。此致敬礼， 客户服务部

要求 LLM 翻译或用某种语言撰写内容可能会导致结果不够准确或包含错误。

你知道 LLMs 可以分析和分类内容吗？

示例:

将以下客户消息分类到以下类别之一： 

"反馈" 

"请求信息" 

"其他" 

要分类的消息： 

我只是想说，我对你们的客户服务团队感到非常满意。他们尽力快速解决了我的问题。 

您能否提供更多关于您电子产品保修条款的详细信息？我正在考虑购买，但想确保自己受到保障。 

你们计划参加即将举行的任何展会或公共活动吗？我可以亲自查看你们的产品。

ChatGPT 4o

以下是客户消息的分类： 

反馈 

我只是想说，我对你们的客户服务团队感到非常满意。他们尽力快速解决了我的问题。 

请求信息 

您能否提供更多关于您电子产品保修条款的详细信息？我正在考虑购买，但想确保自己受到保障。 

请求信息 

你们计划参加即将举行的任何展会或公共活动吗？我可以亲自查看你们的产品。

LLMs 甚至可以分析文本中的语气和情感。这称为情感分析。

将以下客户评论分类为“正面”或“负面”：

评论：

1. 我只是想说，我对你们的客户服务团队感到非常满意。他们尽力快速解决了我的问题。

2. 服务糟糕，价格过高，不会推荐给我最讨厌的人。

ChatGPT 4o

正面 

我只是想说，我对你们的客户服务团队感到非常满意。他们尽力快速解决了我的问题。 

负面 

服务糟糕，价格过高，不会推荐给我最讨厌的人。

LLMs 是构建聊天机器人和 AI 助手的重大突破。当一个 AI 助手或聊天机器人能够理解自然语言时，它就明显与 LLM 相关联。

通过将 LLM 与您使用的其他工具和应用程序集成，您可以自动化日常任务。例如，通过将 LLM 与您的日历应用集成，您可以自动安排日程、发送邀请和记录会议笔记。

当一个由多个步骤或任务组成的过程可以分配给机器时，我们称之为工作流自动化。

GenAI 工具使得构建工作流自动化变得更加容易。

| 3 如何训练GenAI

为了创建新内容，GenAI 从各种来源的大量数据中学习。在本小节中，您将了解人类如何使用数据训练 GenAI。

LLM 的训练分为不同阶段。在第一阶段，它在大量多样的未标记文本数据上进行训练，以学习模式和结构。

这一阶段是非监督学习。

一旦 LLM 被训练到能够预测下一个词，它就会通过标记的对话进行进一步训练，以学习遵循人类指示和执行新任务。

这很明显是监督学习。

在 GenAI 的核心是其基础模型。这些模型是非常通用的机器学习模型，可以用于各种应用中的广泛任务。

它们是通用的且高度适应性强。这意味着你可以在基础模型的基础上进行构建。

得益于未来的基础模型，GenAI 很快将能够同时理解语言、视觉图像和声音。人们常说 AI 是一种像电力、蒸汽动力或互联网一样的“通用技术”。你认为这是什么意思？可以在评论区聊聊

基础模型是在通用且多样的数据上训练的。它们是通用型的，擅长许多任务。

微调是对通用基础模型进行进一步训练的过程，使用更具体的数据，使其在某些任务上变得更加熟练。

BERT（来自 Google）和 GPT（来自 OpenAI）是早期的基础模型的例子。

GPT 代表生成预训练变换器（Generative Pre-trained Transformer）。在基础模型的背景下，你认为“预训练”是什么意思？

这意味着您可以进一步训练/定制它

一个经过进一步训练的 GPT 模型，专门用于理解和解释法律术语，这就是已经被微调过啦。

• 预训练 ：一般使用通用数据集

• 微调 ：一般使用特定任务数据集

训练一个模型所需的新特定数据量通常较少，相比之下，训练一个基础模型从头开始所需的数据量要多得多。

一个基础模型在 预训练 后是通用型的，在 微调 后变成专业型的。

| 4 总结

大型语言模型（LLMs）是现代人工智能的核心技术之一。它们通过在大量文本数据上进行预训练，学习语言的模式和结构，从而能够理解和生成自然语言。这些模型在多个领域中具有广泛的应用，包括自动回复、内容创作、翻译、情感分析等。LLMs 的重要性体现在它们能够推动创新，帮助开发更智能的AI解决方案，以满足不同的业务需求和用户期望。后续我们会介绍一些大模型的其他概念，比如Transformer架构、自注意力机制、学习预训练和微调的概念及其重要性。尝试使用开源LLM工具（如Hugging Face Transformers）进行简单的项目。

保持进步！！！

纸上学来终觉浅，绝知此事要躬行

陆游