大規模言語モデル(LLM)が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理(NLP)モデルを3つ紹介する。 LLMの前身となっ ...
Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...
Transformer is a neural network that learns context and therefore meaning by tracking the relationships between consecutive data, such as the words in a sentence. Transformer has also been used by ...