AI モデルのトレーニング: 低コストの AI 開発の探求

• 著者：
• 著者名

  クォンタムラン・フォーサイト
• 2023 年 3 月 21 日

ディープ ラーニング (DL) は、人工知能 (AI) 開発におけるいくつかの課題に対する優れたソリューションであることが証明されています。 ただし、DLも高くなっています。 ディープ ニューラル ネットワークを操作するには、特に事前トレーニングにおいて、高い処理リソースが必要です。 さらに悪いことに、このエネルギー集約的なプロセスは、これらの要件が大きな二酸化炭素排出量をもたらし、AI 研究の商業化の ESG 評価を損なうことを意味します。

AI モデルのトレーニングのコンテキスト

事前トレーニングは現在、大規模なニューラル ネットワークを構築するための最も一般的なアプローチであり、コンピューター ビジョン (CV) と自然言語処理 (NLP) で大きな成功を収めています。 しかし、巨大な DL モデルを開発するにはコストがかかりすぎます。 たとえば、OpenAI の Generative Pre-trained Transformer 3 (GPT-3) のトレーニングには、175 億のパラメーターがあり、一流のグラフィックス カードを備えた巨大なサーバー クラスターにアクセスする必要があり、推定コストは 12 万ドルでした。 モデルを実行するには、強力なサーバーと数百ギガバイトのビデオ ランダム アクセス メモリ (VRAM) も必要です。

主要なテクノロジー企業はそのようなトレーニング費用を支払う余裕があるかもしれませんが、小規模なスタートアップや研究機関にとっては法外になります。 XNUMX つの要因により、この費用が発生します。 

1. 何千ものグラフィック処理ユニット (GPU) で数週間を必要とする膨大な計算コスト。

2. 微調整されたモデルには大容量のストレージが必要で、通常は数百ギガバイト (GB) を占めます。 さらに、さまざまなタスクの複数のモデルを保存する必要があります。

3. 大規模なモデルのトレーニングには、正確な計算能力とハードウェアが必要です。 そうしないと、理想的な結果が得られない可能性があります。

コストが法外に高いため、AI 研究はますます商業化されており、ビッグテック企業がこの分野の研究をリードしています。 これらの企業はまた、調査結果から最大の利益を得る立場にあります。 一方、研究機関や非営利団体は、フィールドで調査を行いたい場合、これらの企業と協力しなければならないことがよくあります。 

破壊的な影響

ニューラル ネットワークが「剪定」できることを示唆する証拠があります。 これは、超大規模なニューラル ネットワーク内で、機能に大きな影響を与えることなく、より小さなグループが元の AI モデルと同じレベルの精度を達成できることを意味します。 たとえば、2020 年に、スワースモア カレッジとロス アラモス国立研究所の AI 研究者は、複雑な DL モデルが数学者ジョン コンウェイのライフ ゲームの将来のステップを予測することを学習できたとしても、教えることができるより小さなニューラル ネットワークが常に存在することを示しました。同じことをする。

研究者は、トレーニング手順全体が完了した後に DL モデルの多数のパラメーターを破棄すると、元のサイズの 10% に縮小しても同じ結果が得られることを発見しました。 いくつかのテクノロジー企業は、ラップトップやスマートフォンなどのデバイスのスペースを節約するために、すでに AI モデルを圧縮しています。 この方法は、お金を節約するだけでなく、ソフトウェアをインターネットに接続せずに実行して、リアルタイムで結果を得ることができます。 

小さなニューラル ネットワークのおかげで、太陽電池やボタン電池を搭載したデバイスで DL が可能になった例もありました。 ただし、剪定方法の制限は、削減する前にモデルを完全にトレーニングする必要があることです。 独自にトレーニングできるニューラル サブセットに関する初期の研究がいくつかありました。 ただし、その精度は超大規模ニューラル ネットワークの精度と同じではありません。

AI モデルのトレーニングの意味

AI モデルのトレーニングのより広い意味には、次のようなものがあります。 

• ニューラルネットワークをトレーニングするさまざまな方法の研究の増加。 ただし、資金不足により進捗が遅くなる可能性があります。
• ビッグテックは AI 研究ラボへの資金提供を続けており、その結果、利益相反が増加しています。
• 独占が形成される条件を作り出す AI 開発のコストは、新しい AI スタートアップが確立されたテクノロジー企業と独立して競争する能力を制限します。 新興のビジネス シナリオでは、少数の大規模なテクノロジー企業が巨大な独自の AI モデルを開発し、それらをサービス/ユーティリティとして小規模な AI 企業にリースする可能性があります。
• 研究機関、非営利団体、および大学は、ビッグ テックから資金提供を受けて、彼らに代わっていくつかの AI 実験を実施しています。 この傾向は、学界から企業へのより多くの頭脳流出につながる可能性があります。
• 大手テクノロジー企業が AI 倫理ガイドラインを公開し、定期的に更新して、研究開発プロジェクトに責任を持たせるよう求める圧力が高まっています。
• より高いコンピューティング能力がますます必要とされるにつれて、AI モデルのトレーニングはより高価になり、より多くの炭素排出につながります。
• 一部の政府機関は、これらの巨大な AI モデルのトレーニングで使用されるデータを規制しようとしています。 同様に、競争機関は、中小企業のイノベーションを促進するために、特定の規模の AI モデルを小規模な国内企業がアクセスできるようにすることを強制する法律を作成する可能性があります。

考慮すべき質問

• AI セクターで働いている場合、組織はより環境的に持続可能な AI モデルをどのように開発していますか?
• 高価な AI モデルの潜在的な長期的影響とは?