GUI付きでKoboldcppにインポート可能なchub.aiとPygmalionAIのダウンロードしたキャラクターのPNGファイルのメタデータを編集できて保存ができるコードを作成しました。 一応、既存のでないかは探したのですが、長期間メンテされてないソフトしかありませんでし ...

こんにちは。この記事では、私が実際に RTX3060 12GB 搭載PCでローカルLLMを動かしてみた方法を、初心者向けにわかりやすく紹介します。難しいことは抜きにして「まずは動かす」ことをゴールにしています。 必要なものと簡単な説明 Windows PC（RTX3060 12GB ...

To install, either use the file "easy_KCPP-ROCm_install.sh" or navigate to the folder you want to download to in Terminal then run git clone https://github.com ...

Once again an attempt to formalize how a permanent context caching could be done in koboldcpp. Assume koboldcpp server can save and load history contexts (KV cache &co) in files by means of llama.cpp.