米NVIDIAが6月25日（現地時間）に公開したDLSS導入用開発者向けキットの最新版において、Transformerモデルのベータ版運用が終了したようだ。加えてドキュメントが更新され、VRAMの消費量が削減されたことについても言及されている。 NVIDIA DLSS SDK 310.3.0の更新で ...

最近のChatGPTなどの生成AI技術では、自然言語処理に特化したTransformerモデルが活躍しています。Transformerモデルが脳波の解析でも高い推定精度を発揮することを示しました。 内臓痛を引き起こしたマウスにおいて、8つの脳領域から記録した脳波データを ...

GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が ...

会員（無料）になると、いいね！でマイページに保存できます。 現在のTransformerモデルは注意機構を用いることで短期的には高い文脈把握能力を発揮するものの、シーケンスが長くなるほど計算コストが二次関数的に増加し、大規模文書や長時間の対話履歴 ...

Spiral.AI株式会社（本社：東京都千代田区、以下「SpiralAI」）は、従来のLLMアーキテクチャであるTransformerの問題点を解決した学習済みモデルを開発・公開しました。 開発・公開したモデルは、RetNetのアーキテクチャを活用しています。RetNetは、入力文字列長 ...

テキストや画像、音声、ソースコードなど、さまざまなコンテンツを生成する人工知能（AI）技術である「生成AI」の発展には、深層学習モデルが大きく寄与している。本稿は、その中でも代表的な以下の深層学習モデルについて解説する。 GANは2014年に登場 ...

AI開発企業のSubquadraticがAIモデル「SubQ」を発表しました。SubQは主流のTransformerベースAIモデルとは異なるアーキテクチャで開発されたモデルで、最大1200万トークンという長大なコンテキストウィンドウを備えています。また、テストモデルである「SubQ 1M ...