生成AIの解説本で要のトランスフォーマーの動きは非ノイマン型だといわれ、あらためて調べてみたらIMCだのSambaNovaのRDUだの、軛は解かれてカンブリア大爆発といわれている状況だった。
ディープラーニング で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。
第３次人工知能ブーム |
| 概説 人工知能 |
参考
ディープラーニングが激速に NVIDIAの牙城を崩せるか？ SambaNovaに聞く清水亮の「世界を変えるAI」
データフロー型では、このノイマン型のアプローチをやめ、演算ユニットから演算ユニットへ直接データが流れていきます。メモリとプロセッサの間をデータが往復するのではなく、演算ユニットから演算ユニットへデータを流し込んでいくのです。その結果、高速なメモリが不要になります。
――具体的には、どの程度の性能差があるんですか？
鯨岡氏 簡単にいえば、同じ規模のシステムで比較して6倍高速です。それまでDGX A100で約300日かかったGPT 13Bの学習が、SambaNovaのRDUを8基搭載したSambaNova DataScaleで約50日で済む計算です。
――RDUとは何ですか？
鯨岡氏 RDUはSambaNova独自のAI半導体で、「再構成可能なデータフローユニット（Reconfigurable Dataflow Unit）」のことです。RDUの中をデータが流れるように論理回路を再構成することが可能になっているので、目的に応じて最適なデータの流れを作り出すことができます。
- 文／伊藤 元昭
- 2024.06.05
使い勝手のよい特徴を多く持つノイマン型ではあるが、この構造の肝になるメモリーと演算器をつなぐバス（配線）が、高性能化と低消費電力化を阻むボトルネックになってしまう欠点を抱えていた。しかも、AI関連処理の過程では、このバスを介して莫大な数のデータ転送が発生するため、ノイマン型固有のボトルネックが顕在化しやすかった。ニューラルネットワークや機械学習の演算で消費する電力の内訳を調べると、演算器そのもので消費している電力よりも、バスでのデータ伝送で消費される分の方が200倍も多いとする検証結果も報告されている。
これに対しIMCでは、演算対象になるデータと、演算後のデータの格納先が隣接または一体化しているため、ノイマン型に見られるバスを介したデータ伝送でのボトルネックが解消する。そして大量のメモリーセルを超並列動作させることによって、演算能力の向上と消費電力の削減の両方に大きな効果が期待できる。IMCのような、演算時にデータを外部メモリーから読み出す必要がない構造は、非ノイマン型アーキテクチャと呼ばれている。
密かに進化するAIチップ
IT/半導体業界は半世紀に1度の大変革か？
生成AI（人工知能）の活用の広がりの陰で進行しているのが、新しいAIチップの開発だ。AIの処理に特化することで、現行のGPU（画像処理半導体）の汎用性に起因する電力消費の増大を解決する可能性を秘める。大手IT企業からスタートアップまでがこの領域に参入し、本命となるべく開発を進める。今後新たに登場するAIチップは、ITや半導体業界に「50年に1度の大変革」をもたらすかもしれない。
伊藤 元昭＝エンライト
ニューロAIはデータフローコンピュータに乗ってくる時代になるか
半導体チップからコンピュータラック、基盤モデルまでフルスタックでAIを提供するスタートアップ、SambaNova（サンバノバ）が日本オフィスを開設、そのチップアーキテクチャにデータフローコンピューティングを採用していることがわかった。AIの基本的なモデルであるニューラルネットワークもデータフロー方式であるため、AIとは相性が良い。古くて新しいデータフローコンピュータ時代がやってくるかもしれない。
データフローコンピューティングは、アイデアこそ1980年ごろにブームがあったものの、これまで実用化されてこなかった。データフローのロジックを作ることが難しく、しかもアプリケーションもなかったからだ。データフローコンピュータは、ノイマン型コンピューティングとは異なり、データの流れに沿って処理を進めていく方式。ニューロンからニューロンへの流れに沿って積和演算を進めていくニューラルネットワークの処理と似ている。
一方、従来のノイマン型コンピュータは、何番地の命令を取ってきて、何番地のデータなどを演算せよなどのプログラムに沿って演算するため、絶えず演算器とメモリ（レジスタなど）とのやり取りが欠かせない。
ところが、ここにきてデータフローコンピュータが急きょ浮上してきた。1月に開催されたRISC-V Day Tokyo 2024で、カナダのスタートアップTenstorrent社がRISC-VのCPUコアを使い、データフローアーキテクチャを次世代チップ設計に採用することを明らかにした。TenstorrentはAIと相性の良いデータフローアーキテクチャのチップを設計しており、今年中にはテープアウトを目指している。狙いは、性能を維持したまま、消費電力を下げられるとの思いからだ。
そして、シリコンバレーを拠点とするSambaNovaがデータフロー方式のAIチップを最適に設計すると、消費電力が約1/28に激減することがわかった。
マクスウェルの悪魔 〜メモリの消去にエネルギーが使われる〜
https://gendai.media/articles/-/74427?page=4
1961年、アメリカのコンピュータ産業を牽引するIBMで研究者をつとめるランダウアーが、悪魔に対抗するための新しいアイデアを提案しました。
悪魔が気体分子の速度を見きわめて小窓を開閉する作業では、見きわめた分子の速度を情報として記憶し、次にくる分子の速度と比較する必要があります。しかし、その記憶をためこんでいるといずれは容量オーバーとなってしまうので、定期的に消去しなければなりません。この「情報の消去」という仕事をするときにエネルギーがつかわれるので、エントロピーが増大するというのです。
この着想は、有力とみられました。そして2010年、ついにそのときが来ます。日本の鳥谷部祥一、沙川貴大らの物理学者が開発した世界で初の「マクスウェルの悪魔」再現装置による実験で、「温度の環境下で1ビットの情報を消去するためには最低でも、kT log 2の仕事が必要である」ということが示されたのです!
こうして、マクスウェルがこの世に生みだしてから、150年近くものあいだ命を保ってきた悪魔は、ついにとどめを刺されました（残念!）。エントロピー増大の法則は、無事に守られました。
