开源 AI 生态系统在 2023 年迅速扩张，出现了令人兴奋的新型大型语言模型 (LLM)，可以与 GPT-4 等专有模型相媲美。展望2024年，这里有6个开源LLM，它们有望推动人工智能的进一步创新。

美洲驼 2

Llama 2 由 Meta 和微软于 2022 年发布，可以说是当今可用性最强、性能最强的开源 LLM。Llama 2 在超过 2 万亿个代币上训练了多达 700 亿个参数，在推理、总结和知识测试等自然语言处理任务中表现出色。

主要亮点：

• 在 Hugging Face 排行榜上总体排名第 2，平均得分为 67.35
• 性能与 GPT-4 相当，但运行成本低了 30 倍
• Llama 2 Long 将上下文长度扩展到 32,000 个代币，在长上下文任务中超过了 GPT-3.5
  ‍

Llama 2 在实际自然语言处理应用的功耗、成本和商业可行性之间取得了最佳平衡。该模型代表了开源人工智能功能的前沿。

猎鹰 180B

阿联酋技术创新研究所的Falcon 180B在3.5万亿个代币上训练了1800亿个参数，是目前排名第一的开放式LLM。它在推理、编码和知识测试方面取得了最先进的结果。

主要亮点：

• 在 Hugging Face 排行榜上排名第一，平均得分为 68.74
• 性能与 PalM 2 和 GPT-4 等专有型号相当
• 经过微调的 Falcon 180B Chat 针对对话式 AI 进行了优化
  ‍

尽管具有强大的功能，但Falcon 180B对商业用途的许可条款有严格的限制。但是对于研究人员来说，它为使用超大型开放式LLM进行实验提供了无与伦比的途径。Falcon 180B突破了开源人工智能可能性的界限。

Code Llama

来自 Meta 的 Code Llama 专注于代码生成和解释。它对5000亿个代码令牌进行了微调，使用Python、Java、C++等语言编写和描述代码。

主要亮点：

• 根据自然语言指令生成代码
• 逐行解释代码的工作原理
• 关于 Code Llama Python 的 100B Python 代币的额外培训
  ‍

对于开发人员而言，Code Llama 通过自动执行编码任务来提高工作效率。它还通过其独特的解释能力帮助新手编码人员更好地理解编程概念。

Mistral 7B

Mistral 7B 在其高效的 70 亿个参数大小中融合了令人印象深刻的性能。利用分组查询注意力和滑动窗口注意力等创新，它可以快速处理文本，同时保持低成本。

主要亮点：

• 在主要基准测试中表现优于 Llama 2 7B
• 接近 Code Llama 7B 在代码任务上的性能
• 可在市面上进行实际部署
  ‍

对于规模缩小的 NLP 应用程序，Mistral 7B 可提供卓越的价值。与大型机型相比，它在小尺寸和高性能之间取得了平衡，是一个有吸引力的选择。

Vicuna

加州大学伯克利分校的 Vicuna 达到了大约 90% 的 ChatGPT 质量，但参数只占一小部分。在 70,000 次真实对话中微调 Llama 2 为 Vicuna 提供了强大的对话能力。

主要亮点：

• Vicuna 13B 只花了 300 美元去训练
• 在 MT-Bench 上得分 6.39，接近 GPT-3.5
• 更大的 33B 版本可用
  ‍

Vicuna 在成本、规模和对话质量之间达到了最佳位置。对于许多现实世界的聊天机器人用例，它可以提供最佳的功能组合。

长颈鹿

来自 Abacus.AI 的 Giraffe 将 Llama 2 的上下文长度扩展到 32,000 个代币，从而提高了需要长期推理的任务的性能。

主要亮点：

• 70B 版本在 32,000 个代币 QA 数据集上实现了 61% 的准确率
• 在长情基准测试中超越同类模型
• 16k 版本适用于最多 16-24k 上下文的实际任务
  ‍

对于多文档摘要等应用程序，Giraffe 扩展的上下文大小可以更准确地检索更多相关信息。

开源 AI 生态系统的关键要点

开源人工智能的选择范围迅速扩大。如上面的模型所示，我们在以下方面看到了显著的创新：

• 规模 -像猎鹰180B这样的模型突破了尺寸界限，而像Mistral 7B和Vicuna这样的小型机型则最大限度地提高了效率。
• 专业化 -像 Code Llama 这样的模型展示了针对目标用例对利基数据集进行微调的力量。
• 可访问性 -开放的生态系统可以快速共享 Llama 2 和 Giraffe 等模型，从而加速研究。
• 负担能力 -开放型号提供高性能，而成本只是专有替代品的一小部分。

‍

这些因素共同使开源人工智能成为该行业的颠覆性力量。随着生态系统在2024年进一步成熟，我们可以预计，开放模式与封闭模式相比将变得更具竞争力。

人工智能研究的民主化和去中心化最终是创新的巨大胜利。我们才刚刚开始挖掘开源人工智能的潜力，未来看起来非常光明。

从 Sapien 获取高质量的训练数据

正如我们所探索的那样，像Llama 2和Vicuna这样的大型语言模型通过海量数据集和微调实现了卓越的性能。但是，干净、准确、多样的训练数据和数据标签对于实现开源 LLM 的潜力至关重要。

那就是那里 Sapien 进来了。

Sapien 提供高质量的数据标签，为下一代开源 AI 提供动力。我们的全球主题专家团队精心标记了所有行业的机器学习数据集。

无论您需要标注文本、图像、视频还是语音数据，Sapien 都能通过人类洞察力和数据操作自动化相结合，提高精度和规模。

要了解有关使用 Sapien 的数据标签服务优化开源 LLM 的更多信息， 立即预订演示。