ローカルLLMのOllamaを使ってみた

はじめに

今回、GitHubで注目を集めているAIモデル「Ollama」を試してみました。Metaの「Llama」シリーズと比べてみると、Ollamaの方がGitHubで多くのスターを集めているため、実際にOllamaを使用してみることにしました。今回は、MacBook AirのM1チップ搭載モデルで使用しています。

ローカルLLMとは？

ローカルLLM（Local Large Language Model）とは、クラウドサーバーに依存せず、ユーザーのPCやオンプレミス環境で直接動作する大規模言語モデルのことです。通常、ChatGPTやClaudeなどの一般的な言語モデルはインターネットを通じてクラウドサーバー上で動作し、入力されたデータをオンラインで処理・応答します。しかし、ローカルLLMでは、モデルや処理がすべてユーザーの手元にある環境で実行されるため、インターネット接続なしでも動作が可能です。

ローカルLLMは、ネットワークの制限がある場所や、外部サーバーに依存しないセキュアな環境での利用に適しており、プライバシー保護や機密情報の管理が特に求められる場面で注目されています。また、自分のPC上でモデルをカスタマイズしたり、動作速度や設定を自由に調整できるため、非常に柔軟性の高いAI活用が可能です。

Ollamaのセットアップ

まずはセットアップ手順から説明します。

1. GitHubリポジトリからmacOS用のアプリをダウンロードします。

2. Ollama-darwin.zipというファイルがダウンロードされるので、ダブルクリックして解凍します。

3. Ollamaのアプリを起動し、Installボタンを押してインストール完了です。

Ollamaのインストール

次に、ターミナルから以下のコマンドを実行して起動します。

このコマンドは、ローカルで「Llama 3.2」というモデルを実行するためのコマンドです。

ollama run llama3.2

「ollama run llama3.2」の実行結果

Ollamaのモデルとサイズ

Ollamaには、さまざまなモデルとパラメータサイズがあります。

必要な用途に応じてこれらのモデルを選択してください。

Parameters（パラメータ）

Parametersは、モデルの学習中に用いられる調整可能な要素の数を示します。パラメータ数が多いほど、モデルが持つ知識量や処理能力が向上する傾向にありますが、それに伴い必要な計算リソースも増加します。一般的に、パラメータ数が多いモデルほど精度が高く、複雑なタスクにも対応しやすいですが、メモリ使用量や実行速度への影響も大きくなります。例として「3B」は3ビリオン（30億）のパラメータ、「7B」は7ビリオン（70億）のパラメータを持つモデルを指しています。

Size（サイズ）

Sizeは、モデルファイルの物理的なサイズ（ストレージ容量）を示します。このサイズはモデルを構成するデータやパラメータ数に基づいて決まり、モデルの複雑さやメモリの消費量を反映しています。大規模なモデルほどディスクに保存する際のサイズが大きくなり、実行時に多くのメモリを消費します。例として、「2.0GB」はモデルファイルが2ギガバイトの容量を使用し、「40GB」は40ギガバイトの容量を要します。

Model	Parameters	Size	Download
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3.2	1B	1.3GB	ollama run llama3.2:1b
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	70B	40GB	ollama run llama3.1:70b
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 3 Mini	3.8B	2.3GB	ollama run phi3
Phi 3 Medium	14B	7.9GB	ollama run phi3:medium
Gemma 2	2B	1.6GB	ollama run gemma2:2b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar

実際に使用してみた感想

まずは英語で質問してみる

Ollamaのモデルを使って、英語で質問を投げかけたところ、期待通りの回答が返ってきました。たとえば、日本で一番高い山について尋ねたところ、富士山に関する詳細な回答が得られました。

質問

What is the highest mountain in Japan?

回答

The highest mountain in Japan is Mount Fuji (), which stands at an elevation of 3,776 meters (12,388 feet) above sea level.

回答は非常にスムーズで、日本の象徴としての富士山に関する情報も含まれていました。

日本語で質問してみる

質問

日本で一番高い山は？

回答

日本では、富士山（Fuji-san）が最高峰です。標高は3,776m（12,388ft）です。

日本語でも問題なく回答が返ってきました。

「日本で一番高い山は？」の回答結果

複雑な質問と日本語対応のテスト

さらに、日本語で回答を求めつつ、少し複雑な質問にも挑戦しました。たとえば、プログラミング未経験者にJavaを教える4週間のカリキュラムを考えてほしいとお願いしました。

プロンプトには日本語での回答を指示しましたが、返答は英語で返ってきました。複雑な回答内容が含まれていたため、CPU使用率が70％ほどに達し、Macが一時的に操作できないほどの負荷がかかってしまいました。この点は、長時間の使用や大規模なタスクを実行する際の懸念点と言えます。

質問

プログラミングを勉強したことがない人にJavaを教えます。4週間のカリキュラムを考えてください。日本語で回答する必要があります。

回答

I'd be happy to help! Here is a 4-week curriculum for teaching Java to 
someone with no prior programming experience. I'll use Japanese terminology throughout the explanation.

**Week 1: Basic Concepts and Setup**
* Day 1-2: Introduction to programming, what is Java, and why it's popular
+ Understand the basic concepts of programming (variables, data types, loops, conditionals)
+ Install Eclipse or IntelliJ IDEA as your IDE (Integrated Development Environment)
+ Set up a new Java project in the IDE

* Day 3-4: Basic syntax and data types
+ Learn about variables, data types (int, double, boolean), and operators
+ Understand the basic syntax of Java code (e.g., `System.out.println()`, `if` statement)

**Week 2: Control Flow and Functions**
* Day 5-6: Control flow statements (if-else, switch)
+ Learn how to use if-else statements and logical operators
+ Understand the concept of switch statements and how they work

* Day 7-8: Functions (methods) and method overloading
+ Learn what functions are and how they're used in Java
+ Understand method overloading, default methods, and static methods

**Week 3: Arrays, Lists, and Object-Oriented Programming**
* Day 9-10: Arrays and array operations
+ Learn about arrays, including declaration, initialization, and indexing
+ Understand how to perform basic operations on arrays (e.g., sorting, searching)

* Day 11-12: Introduction to object-oriented programming (OOP) concepts
+ Learn about classes, objects, inheritance, polymorphism, and encapsulation
+ Understand the basics of OOP in Java

**Week 4: File Input/Output, Exception Handling, and Review**
* Day 13-14: File input/output operations
+ Learn how to read and write text files in Java
+ Understand how to use streams for file I/O

* Day 15-16: Exception handling and debugging techniques
+ Learn about try-catch blocks and exception types (e.g., `IOException`)
+ Understand how to use debugging tools (e.g., Eclipse's Debug Perspective) and best practices
* Day 17-18: Review and practice exercises
+ Go through a set of exercises that cover the material learned throughout the curriculum
+ Practice writing Java code to reinforce understanding

This is just a rough outline, but it should give you an idea of what topics to cover in each week. Remember to provide plenty of examples, practice exercises, and review sessions to help your student solidify their understanding. Good luck!

「Javaのカリキュラム」の回答結果

ローカルLLMのメリットとデメリット

メリット

1. オフラインでの利用が可能: ローカルでモデルが稼働しているため、インターネット接続が不要です。これにより、ネットワーク接続が不安定な環境でもスムーズに利用でき、特定の場所や状況で活躍します。

2. プライバシーとデータ管理: ローカルで動作するため、データが外部サーバーに送信されません。特に、機密情報や個人情報を含むプロジェクトでは、クラウドに送信せずローカルで処理することでセキュリティが強化されます。

3. カスタマイズ可能: ローカル環境で稼働するため、モデルのパラメータや環境設定を自由に変更でき、特定のニーズに合わせて最適化が可能です。APIを利用する場合、カスタマイズ性は限定されることが多いですが、ローカルなら細かな調整が可能です。

デメリット

1. 高い処理リソースが必要: 高性能なモデルはGPUやCPUに高い負荷をかけるため、ローカルでの実行には十分なリソースが求められます。複雑な処理を行うときにはMacBook Airのようなデバイスでは負荷が高くなりやすく、ノートPCでの長時間の運用は厳しい場合もあります。

2. セットアップとメンテナンスが必要: モデルのセットアップや更新、トラブルシューティングは、ユーザーに一定の知識や時間を求めます。クラウドベースのLLMサービスと比べて技術的な負担が大きくなる点もデメリットです。

   
   

通常のChatGPTやClaudeのAPIとの違い

クラウドベースのLLMとローカルで動作するLLMの違いをまとめると以下のようになります。

1. スケーラビリティ: ChatGPTやClaudeのAPIは、クラウド上でホストされているため、リソースが豊富で高いスケーラビリティを提供します。ローカルLLMでは同時に多数のリクエストを処理するのが難しい場合があり、特にCPUやメモリ制限が厳しいPCでは制約が生まれます。

2. セキュリティ: クラウドLLMではデータがインターネットを介してサーバーに送信され、外部プロバイダーの管理下にありますが、ローカルではデータが完全に手元で処理されるため、機密データや個人情報を含むアプリケーションでセキュリティが強化されます。

3. 応答速度とレイテンシー: APIを介してやりとりする場合、ネットワークレイテンシーが発生しますが、ローカルLLMなら遅延がほぼなく、即座に応答が得られます。ただし、高度な質問には処理時間がかかることもあります。

4. コスト: ローカルLLMでは、初期のセットアップ費用（ハードウェアやソフトウェアの購入）がかかるものの、長期的には使用ごとの課金が発生しないため、頻繁に利用する場合はコストを抑えることができます。一方でクラウドのLLMはAPIの使用量に応じて課金がされ、負担が一定ではありません。

ローカルLLMの用途と可能性

RAG（Retrieval-Augmented Generation）アプリケーションでの活用

ローカルLLMは、RAGアプリケーションの一部としても利用することが可能です。例えば、文書内検索やFAQへの回答をする際に、事前にローカルで保持しているデータベースやファイルを検索し、その結果を基に応答を生成することができます。これにより、ネットワーク接続のない環境でも情報を提供できる上、データが外部に流出しないため、安全なドキュメント管理システムが構築可能です。

【合わせて読みたい記事】
RAGとは？ファインチューニングとの違いと比較

具体的なユースケース

1. 企業内情報検索: 会社内部のデータベースにアクセスし、特定のドキュメントや製品情報、マニュアルを検索して従業員に提供する場面で使用されます。

2. 個人アシスタントツール: 自分のスケジュールやメモ、資料にアクセスし、タスクを自動化するパーソナルアシスタントとして利用可能です。クラウドと連携せず、完全にオフラインで利用できるため、安心して使用できます。

3. 教育アプリケーション: 教材や参考資料をローカルで管理し、学生に特定の質問に答えるアシスタントとしても活用可能

   
   

お問合せ業務をAIにお任せしませんか？

AIboxは、社内の問い合わせ業務を自動化し、社員の手間を大幅に削減するソリューションです。RAG機能による高精度な回答や、バックオフィス向けの専用設計によって、日々の質問対応に追われることなく、本来の業務に専念できる環境を提供します。また、導入時や運用後のサポートも徹底しており、データプライバシーも厳重に保護されているため、安心して利用いただけます。日常的な問い合わせ対応を効率化し、業務の生産性向上を実現したい方は、ぜひAIboxをご検討ください。

問合せ先

https://www.snowlys.co.jp/contact

スノーリーズ株式会社について

https://www.snowlys.co.jp/about

バックオフィス向けソリューション AIboxについて

https://www.ai-box.biz/