オープンソースのAIエコシステムは、2023年に急速に拡大しました。GPT-4のようなプロプライエタリモデルに匹敵する、エキサイティングな新しい大規模言語モデル（LLM）が登場しました。2024 年を見据えて、AI のさらなるイノベーションを推進する見込みのあるオープンソース LLM を 6 つご紹介します。

ラマ 2

2022年にMetaとMicrosoftによってリリースされたLlama 2は、間違いなく現在入手可能なオープンソースLLMの中で最も用途が広く高性能です。Llama 2 は、2 兆個を超えるトークンで最大 700 億個のパラメーターを学習できるため、推論、要約、知識テストなどの自然言語処理タスクに優れています。

主なハイライト:

• ハグフェイスのリーダーボードで平均スコア67.35で総合2位
• GPT-4と同等の性能だが、実行コストは30倍安い
• Llama 2 Longはコンテキストの長さを32,000トークンに拡張し、ロングコンテキストタスクではGPT-3.5を上回りました
  ‍

Llama 2は、実際のNLPアプリケーションにおいて、消費電力、コスト、商業的実行可能性の最適なバランスをとっています。このモデルは、オープンソースの AI 機能の最先端を体現しています。

ファルコン 180B

UAEのテクノロジー・イノベーション・インスティテュートのFalcon 180Bは、3.5兆個のトークンで1,800億個のパラメータをトレーニングしており、現在トップランクのオープンLLMです。推論、コーディング、知識テストにおいて最先端の結果が得られます。

主なハイライト:

• ハグフェイスのリーダーボードで平均スコア68.74で1位にランクイン
• PaLM 2やGPT-4などの独自モデルと同等のパフォーマンス
• 会話型 AI 向けに最適化された微調整された Falcon 180B チャット
  ‍

Falcon 180Bはその威力にもかかわらず、商用利用には制限付きのライセンス条件があります。しかし、研究者にとっては、超大規模なオープンLLMを試すのに比類のないアクセスを提供します。Falcon 180B は、オープンソース AI で可能なことの限界を押し広げます。

コードラマ

MetaのCode Llamaは、コード生成と説明に真っ向から焦点を当てています。5,000億トークンのコードに基づいて微調整され、Python、Java、C++ などの言語でコードを記述および記述します。

主なハイライト:

• 自然言語命令に基づいてコードを生成します
• コードの動作を 1 行ずつ説明します
• コードラマパイソンの100億個のPythonトークンに関する追加トレーニング
  ‍

開発者にとって、Code Llamaはコーディングタスクを自動化することで生産性を大幅に向上させます。また、独自の説明機能により、初心者のコーダーがプログラミングの概念をよりよく理解するのにも役立ちます。

ミストラル 7B

Mistral 7Bは、その効率的な70億個のパラメーターサイズに驚異的なパフォーマンスを詰め込んでいます。グループクエリアテンションやスライディングウィンドウアテンションなどのイノベーションを活用して、コストを低く抑えながらテキストを迅速に処理します。

主なハイライト:

• 主要なベンチマークテストで Llama 2 7B を上回っています
• コードタスクにおけるコードラマ7Bのパフォーマンスへのアプローチ
• 実際に導入できる市販品
  ‍

スケールダウンされたNLPアプリケーションの場合、Mistral 7Bは優れた価値を提供します。小型サイズと高性能のバランスが取れているため、大型モデルよりも魅力的な選択肢となっています。

ビクーニャ

カリフォルニア大学バークレー校のVicunaは、ChatGPTの品質の最大90％を達成していますが、パラメーターはごくわずかです。Llama 2 を70,000件の実際の会話で微調整することで、Vicunaは強力な会話能力を身につけることができます。

主なハイライト:

• ビクーナ13Bはトレーニングにたったの300ドルしかかかりませんでした
• MTベンチでのスコアは6.39、GPT-3.5に近い
• より大きな 33B バージョンも入手可能
  ‍

Vicunaは、コスト、サイズ、会話の質のバランスが取れています。実際のチャットボットの多くのユースケースでは、最適な機能の組み合わせが提供されている可能性があります。

キリン

Abacus.AI の Giraffe は Llama 2 のコンテキスト長を 32,000 トークンに拡張し、長期的な推論を必要とするタスクのパフォーマンスを向上させました。

主なハイライト:

• 70Bバージョンは、32,000トークンのQAデータセットで61％の精度を達成
• ロングコンテキストベンチマークで同等のモデルを上回る
• 16Kバージョンは、最大16～24kのコンテキストの実際のタスクに効果的
  ‍

複数文書の要約などのアプリケーションでは、Giraffeの拡張されたコンテキストサイズにより、より関連性の高い情報をより高い精度で取得できます。

オープンソース AI エコシステムに関する重要なポイント

オープンソースの AI の選択肢は急速に拡大しています。上記のモデルが示すように、以下の分野で著しい革新が見られます。

• スケール -Falcon 180Bのようなモデルはサイズの限界を押し広げ、Mistral 7BやVicunaのような小型モデルは効率を最大化します。
• スペシャライゼーション -Code Llamaのようなモデルは、ターゲットを絞ったユースケース向けにニッチなデータセットを微調整することの力を実証しています。
• アクセス性 -オープンエコシステムにより、Llama 2やGiraffeなどのモデルを迅速に共有できるため、研究を加速できます。
• 手ごろな価格 -オープンモデルは、独自の代替品の数分の1のコストで高いパフォーマンスを実現します。

‍

これらの要因が組み合わさって、オープンソース AI は業界において破壊的な勢力となっています。2024年にエコシステムがさらに成熟するにつれて、オープンモデルはクローズドモデルと比べてさらに競争力が高まると予想されます。

AI 研究の民主化と分散化は、究極的にはイノベーションにとって大きなメリットとなります。私たちはオープンソースの AI の可能性を引き出し始めたばかりで、未来は驚くほど明るいようです。

Sapien から高品質なトレーニングデータを入手

これまで説明してきたように、Llama 2やVicunaのような大規模な言語モデルは、膨大なデータセットと微調整によって優れたパフォーマンスを発揮します。しかし、オープンソース LLM の可能性を実現するには、クリーンで正確かつ多様なトレーニングデータとデータラベル付けが不可欠です。

そこがここ サピエン 入ってくる。

Sapien は、次世代のオープンソース AI を促進するための高品質なデータラベリングを提供しています。対象分野の専門家から成るグローバルチームが、あらゆる業界の機械学習用データセットに細心の注意を払ってラベルを付けています。

テキスト、画像、動画、音声データにラベルを付ける必要があるかどうかにかかわらず、Sapien は人間の洞察とデータ運用の自動化を組み合わせることで、精度と拡張性を実現します。

Sapien のデータラベリングサービスを使ってオープンソースの LLM を最適化する方法の詳細については、 今すぐデモを予約。