ターゲット市場に最適化されたハードウェアが重要

　半導体メーカーは、エンドユーザーに届く最終製品を作っているわけではない。そしてCPU／SoCの企画開発段階から搭載製品が届くまで、非常に長いリードタイムを要する。 　自らが市場をリードし、技術の方向性を決める立場にあるのならいいのだが、特にソフトウェアの世界において新しい技術的トレンドが突然出現し、その進化や変化が早い（激しい）となれば、先の需要を予測してCPU／SoCの機能強化をあらかじめ行うことは非常に困難だ。 　この問題について、Qualcomm Technologiesで主に製品のAIディレクションを担うベニシュ・スカマー氏（製品マネジメント担当シニアディレクター）は次のように説明している。 　QualcommのAIリサーチチームでは、「どのようなディープラーニング（深層学習）のアーキテクチャが今後登場するか」（の予測）に注力してきた。歴史的にいえば、まずは「RNN（Recurrent Neural Network）」であり、後に「CNN（Convolution Neural Network）」に移行し、2017年にGoogleが提唱した「Transformer」へとつながり、今日のLLMやその他全ての基礎の構築につながっている。そして今、人々はスタンフォード大学とカリフォルニア大学バークレー校によって2021年に発表された「MoE（Mixture of Experts）」「State Space Models（SSM）」といったものに取り組むようになった。　このような動きからいえることとして、まず（深層学習の）アーキテクチャに注目することが大切で、それを踏まえてQualcommのNPU（Hexagon）やAIスタックを含む各種ハードウェアで新アーキテクチャをサポートできるかを適時確認することが大切である。 　次のステップとして、モデルが今後（より）大きくなることを理解しておくことが大切だ。モデルが大きくなったとしても、（モバイル）デバイスのフットプリントに収まるようにしなくてはならない。データの型でいえば、当初は浮動小数点型の「FP16」から始まり、「INT8」「固定小数点8」「INT4」と続き、現在では「INT2」の導入が検討され始めている。デバイスに合わせてモデルのサイズをどんどん小さくできることを確認するための動きだ。　そしてハードウェアに投資する段階になると、実際に16bitあった数字が2bitにまで縮小するわけで、当然精度の低下も生じる。そのため、「ダイナミックレンジ」や精度が失われないようにするために、ソフトウェアとツールへの投資も開始する必要が出てくる。 　この他、メモリアクセスの帯域幅が限られているという指摘が入ることが考えられる。この問題を解決するオプションは複数考えられるが、重要なのはユースケースを想定した上で、どのようなモデルを使うと問題を解決できるのか、そしてモデルが想定するKPIを達成するためにハードウェア／ソフトウェア／システムにどのような変更が必要なのかを考えることだ。　Qualcommでは、これらスタック全体を注視した上で、方向性を見極めつつ、各領域でイノベーションを推進している。 　RNNとCNNについては、2018年の拙著で解説している。 　RNNやCNNでは、文章にある単語の前後関係を把握して翻訳を行っていたが、長文になるほど関係性が希薄になり、精度に問題が生じるという課題があった。その点、TransformerはRNNやCNNとは全く異なるアーキテクチャであり、Googleの技術者が執筆した論文で詳しい仕組みが解説されている。 　スカマー氏も言及したこの論文で興味深いのが、主題が「文章翻訳の世界」だったことにある。今日の生成AIにおける驚異的な文章読解と生成能力は「ChatGPT」を始めとした最新のAI利用に大きな影響を与え、RNN時代とは異なるステージの世界を体験させてくれている。 　ユースケースの想定も重要だ。例えば、昨今のNPUやGPUには、演算精度をあえて落とすための仕組みが積極的に搭載されるようになった。AI推論の高速化と、低消費電力化を両立するためだ。 　ただ、スカマー氏は「重要なのは（低精度演算の）適用先だ」とした上で、次のように語っている。 　例えば精度がより失われる「INT2」演算は、自動車の自動運転の世界には適用できない。ADAS（先進運転支援システム）では精度の高さが非常に重要で、これが失われるのは大きな問題となるからだ。　したがって、低精度演算は消費者向けのIoTデバイスやスマホにおける画質向上で使うなど、領域によって（演算精度は）使い分ける必要がある。 　少し言い換えると、ハードウェアやソフトウェアスタックの構成はターゲットとする市場を見極めて設定されるべきということだ。現在、Qualcommは車載デバイス方面での活動も盛んに行っている。当然、ターゲット市場搭載されるハードウェアの構成も変更されることになる。「One size fits all」（1種類で全てをまかなえる）という状況にはなり得ない、という話だ。