米国のセキュリティ会社Trail of Bitsは1月16日（現地時間）、広範なGPUに影響を与える情報漏洩の脆弱性「LeftoverLocals」（CVE-2023-4969）を公表した。AMD、Apple、Qualcomm、ImaginationのGPUが「LeftoverLocals」に対して脆弱であることがわかっているという。 OSはプログラム ...

GPU hardware was never built for safe multitenant use, fast fault recovery, or clean isolation between workloads. How do we ...

自社サーバでLLM（大規模言語モデル）を運用することには、セキュリティやパフォーマンスなどの面で複数のメリットがある。ただし適切なハードウェアを整えるのは容易ではない。GPUは決して安い製品ではないため、過剰なスペックを避けたいところだが ...

当社は、このほど、世界的なGPU不足に対応するため、高い実行効率が見込める処理に対してリアルタイムにGPUを割り振る当社独自のアダプティブGPUアロケーター技術と、各種AI処理の最適化技術を統合したミドルウェア技術「AI computing broker（以下、ACB技術 ...

富士通株式会社は22日、世界的なGPU不足に対応するため、高い実行効率が見込める処理に対して、リアルタイムにGPUを割り振る独自のアダプティブGPUアロケーター技術と、各種AI処理の最適化技術を統合したミドルウェア技術「AI computing broker（以下、ACB技術 ...

大規模言語モデル（LLM）の開発やファインチューニングには、莫大な計算リソースが必要となる。その中でも特に、GPUのコストが大きな課題となっている。 LLMの開発コストは、モデルの規模によって大きく異なる。 たとえば、グーグルのGemini Ultraは開発に1 ...