2024年12月30日現在のmacのローカルでollama, gptme, obsidian-copilotを動かすメモ書き

ローカルでもろもろ気兼ねなくLLMに要約や加工を任せたいと思いまして用意することにしました。

ollama

ローカルでLLMを動かしてくれるサーバー

ollama.com

formulae.brew.sh

言語モデル

まずはこちらを使ってみています

notai.jp

ollama serve
ollama pull gemma2:9b
ollama run gemma2:9b

その後、Llama 3 ELYZA JP 8Bも入れてみてます

zenn.dev

Embeddingのbge-m3

ollama.com

gptme

LLMのCLIクライアント

formulae.brew.sh

設定を施してollamaに繋ぐ gptme.org

"# Uncomment to use with Ollama"部分を記載。モデル名は ollama list でとれる。

使い方

gptme.org

パイプで繋いで渡せるのがいい zenn.dev

導通

--- ^^^ past messages ^^^ ---
User: こんにちはー！
Assistant: Hello! 👋  It's nice to meet you. What can I help you with today? 😊                                                                
User:

obsidian-copilot

github.com

設定を施してollamaに繋ぐ github.com

OLLAMA_ORIGINS="app://obsidian.md*" ollama serve

右のペインにいた

ollamaのGUIクライアント

GitHub - gluonfield/enchanted: Enchanted is iOS and macOS app for chatting with private self hosted language models such as Llama2, Mistral or Vicuna using Ollama.

Settingsでモデルを選んでやるといい。