しかしここでカルテックの新しいスタートアップがパンドラの箱を開けてしまった。 Bonsai-8Bは、初の本格的な1-Bit LLMで、その実用性は従来手法を優に追い抜き、しかもスマートフォンの上で完璧に動作することが証明されてしまったのだ。

他の写真を見る MacBook Neoの8GBメモリでAIをなんとかするシリーズ。前回の記事では、独自開発エージェンティックAIのmazzaineoにWebターミナルとSwiftLM推論エンジンを追加して、8GBメモリの限界に挑んだ話を書きました。