Microsoft、これまでで最小の AI モデルである Phi-3 を発表

マイクロソフトは、軽量 AI 搭載モデルの次期バージョンである Phi-3 Mini を発売しました。これは、同社がリリースを予定している 3 つのミニ モデルのうちの最初のモデルです。

Phi-3 Mini は 38 億パラメータを測定し、Phi-3 Mini と比較して小規模なデータセットでトレーニングされています GPT-4 などの大規模な言語モデル。 現在、Azure、Hugging Face、Ollama で利用可能です。 Microsoft は、Phi-3 Small (パラメータ 7B) および Phi-3 Medium (パラメータ 14B) をリリースする予定です。 パラメーターは、モデルが理解できる複雑な命令の数を示します。

同社は12月にPhi-2を発売したが、その性能はLlama 2などの大型モデルと同等だった。Microsoftによると、Phi-3は以前のバージョンより性能が良く、10倍近いモデルの応答を実現できるという。

Microsoft Azure AI プラットフォーム担当コーポレートバイスプレジデントのエリック・ボイド氏は次のように述べています。 はしっこ Phi-3 Mini は、GPT-3.5 のような LLM プログラムと同様の機能を「より小さなフォームファクターで」備えています。

AI モデルは、より大規模なモデルと比較すると小規模です 多くの場合、ランニングコストが安くなり、個人的にはパフォーマンスが向上します 電話やラップトップなどのデバイス。 情報 私は今年初めに、Microsoft が軽量 AI モデルに特化したチームを構築していると報告しました。 同社は Phi とともに、数学的問題解決に焦点を当てたモデル Orca-Math も構築しました。

開発者は「シラバス」を使用して Phi-3 をトレーニングしたとボイド氏は言います。 彼らは、子供たちが就寝前の物語、より簡単な単語を含む本、より大きなトピックについて語る文章の構造からどのように学ぶかにインスピレーションを受けました。

「世の中には十分な児童書がありません。そこで私たちは 3,000 語を超える単語のリストを用意し、ファイに教えるための『児童書』を作成するよう LLM に依頼しました」とボイド氏は言います。

同氏は、Phi-3 は単に以前の反復で学んだことを基盤にしているだけだと付け加えた。 Phi-1 はプログラミングに重点を置き、Phi-2 は考えることを学び始めましたが、Phi-3 はプログラミングと推論が得意です。 Phi-3 モデル スイートはある程度の一般知識を知っていますが、幅の広さの点では GPT-4 や他の LLM に勝ることはできません。完全にオンラインでトレーニングされた LLM と小規模なモデルから得られる答えの種類には大きな違いがあります。ファイ-3のような。

ボイド氏は、企業は多くの場合、Phi-3 のような小型モデルがカスタム アプリケーションに適していることに気づくことが多いと述べています。なぜなら、多くの企業にとって、いずれにしても内部データ セットは小規模なものになるからです。 これらのモデルは使用するコンピューティング能力が少ないため、多くの場合、はるかに手頃な価格になります。