ファインチューニング？ローカルLLM？Dify？  ～生成AI関連最新トピック徹底解説～

生成AIの台頭により、ビジネスにおける競争環境が大きく変化している。この波に乗り遅れまいと、自社での生成AI活用を検討し始めた企業も多いのではないだろうか。しかし、生成AIに関する情報は日々更新され、最新のトピックを追うのは容易ではない。また、知っているようで、実は違いがわからないということもあるだろう。 

本記事では、生成AIの社内活用を検討中のビジネスパーソンに向けて、「RAG」「ファインチューニング」「独自LLMモデル」「ローカルLLM」の4つの技術キーワード、および最近話題の生成AI開発プラットフォーム「Dify」について解説する。これらを理解することで、生成AIの可能性を最大限に引き出し、自社のビジネスに活かすヒントが見えてくるはずである。 

RAG: 外部知識を活用し、生成AIの性能を向上  

RAG (Retrieval Augmented Generation) は、生成AIモデルの出力に外部の情報源から取得した関連情報を組み込むことで、より正確で情報量の多い出力を実現する手法である。一般的な生成AIモデルでは、学習データに含まれない知識を出力することが難しいという課題があるが、RAGはその解決を目指している。  

RAGの仕組みは、入力テキストから関連する情報を外部情報源から検索・取得する「retriever」と呼ばれるコンポーネントと、取得した関連情報と入力テキストを組み合わせて生成AIモデルに入力する部分から成る。生成AIモデルは、入力された関連情報を参照しながら出力を生成するのである。 

※RAGについては前回の記事で詳細に解説しているので、そちらを参照されたい 

RAGを活用することで、外部知識を活用した正確で詳細な出力が可能になり、特定のドメインや話題に関する知識不足を補完できる。ただし、適切な関連情報を検索・取得できるかがボトルネックであり、外部情報源の質や量、retrieverの性能に依存するという課題もある。 

特定業界に特化し、これらの課題の解決を図った製品も多くリリースされているので、自社開発ではなく、製品活用を行うというのも１つの手である。 

ファインチューニング: 特定のタスクに特化させ、生成AIの性能を最適化 

 ファインチューニングとは、事前に学習済みの大規模言語モデル(LLM)を、特定のタスクやドメインに特化させるための手法である。LLMは一般的な知識を持っているが、特定の分野や用途に特化していないため、ファインチューニングによってモデルの性能を向上させることができる。 

ファインチューニングを行うことで、生成AIモデルを特定のタスクに最適化し、ドメイン固有の言語表現や専門用語を適切に扱えるようになる。また、モデルの出力品質と一貫性が向上し、特定の分野での生産性とコスト削減につながるのである。 

ファインチューニングの手順は、タスクとデータセットの選定、前処理とデータ準備、ハイパーパラメータの設定、ファインチューニングの実行、評価とモデルの選択という流れで進む。これにより、生成AIモデルを自社のニーズに合わせてカスタマイズでき、より高い付加価値を生み出すことができるのである。 

独自LLMモデル: 自社に最適化された生成AIを実現  

企業が独自のLLMモデルを構築することで、ビジネスに合わせてカスタマイズされた生成AIソリューションを実現できる。独自モデルを持つことで、機密データの漏洩リスクを低減し、セキュリティとプライバシーを強化できるほか、特定のタスクやドメインに特化したモデルを構築することで、高い精度と性能を実現できるものだ。 

独自LLMモデルの構築には、大規模な計算リソースと大量のデータが必要であり、モデルアーキテクチャの選択、ハイパーパラメータの調整、事前学習など、高度な専門知識が求められる。そのため、企業内にそうした専門家を抱えることは容易ではない。 

一方、sakana.aiなどのスタートアップが提案しているマージモデルは、複数の既存モデルを組み合わせて新しいモデルを作成する手法であり、既存モデルの長所を組み合わせることで、高性能かつカスタマイズされたモデルを比較的容易に構築できる可能性がある。 

現状独自LLMモデルの構築は高いハードルがあるが、医療領域に特化したLLMなど、生成AIの活用を本格化させる上で重要な選択肢となる可能性を秘めている。 

ローカルLLM: データプライバシーとセキュリティを強化  

ローカルLLMとは、クラウドではなく、ローカル環境(オンプレミス)で動作する大規模言語モデルのことを指す。従来のクラウドベースのLLMとは異なり、ローカルLLMはユーザーの環境内で動作するため、データ漏えいのリスクが低く、プライバシーとセキュリティを強化することができる。 

ローカルLLMの利点として、機密データがクラウドに送信されることがないため、データ漏えいのリスクが低減し、企業の機密情報を保護できること、レイテンシの低減、コスト削減の可能性、カスタマイズ性の向上などが挙げられる。 

一方で、ローカルLLMにはハードウェア要件が高いという課題がある。大規模なモデルを動作させるには、高性能なGPUやRAMが必要であり、コストがかかる可能性がある。また、クラウドサービスのようにモデルが自動的に更新されないため、手動でモデルを更新する必要がある。ビジネスニーズに合わせて、クラウドベースのLLMとローカルLLMのメリット・デメリットを検討する必要があるだろう。 

Dify: 注目のオープンソースのLLMアプリ開発プラットフォーム 

Difyは、大規模言語モデル(LLM)を活用したアプリケーションの開発を簡素化するためのオープンソースプラットフォームである。様々なLLMモデルを統合し、ワークフローを構築することができ、LLMの機能を最大限に活用しながら、開発者がカスタマイズしやすい環境を提供している。作成したワークフローはAPIとして公開することができ、他のアプリケーションと連携させることが可能である。 

＜Dify：https://dify.ai/jp＞ 

ここからはDifyで実現できるユースケースや代表的な特徴について、いくつか紹介していく。 

RAGが簡単に作れる 

本記事でも冒頭解説をしたが、生成AIの業務活用検討においてニーズが高いのがRAGの実現である。DifyはRAGモデルの構築をサポートしており、RAGを容易に構築できるのも注目される要因の一つである。Difyでは、知識ベースの作成から関連情報を探索し参照させるまでの一連の流れを簡単にくみ上げることができる。
RAGは、そもそも外部参照情報をどのような形式でインプットするか、外部参照情報をどのようにベクトル化するか、などいくつか試行錯誤が必要になるポイントがある。Difyでは、それらを直感的に設定できることができるため、試行錯誤しながら試していくことができる。 

LLMワークフローが簡単に作れる 

Difyは、異なる特性を持つLLMモデルを組み合わせて利用することができる。ここでいうLLMワークフローとは、複数の文章生成を連鎖させることで、最終的なアウトプットとして高度な文章生成を行うことである。
例えば、1度の文章生成では、本1冊分の文章を生成することは困難だが、「目次を作成⇒第1章の構成を作成⇒第1章1節の文章を作成⇒第1章2節の文章を作成⇒・・・」というように何度かの文章生成を順に行うことで最終的に長い文章を作成するといったときに使われる手法である。

ChatGPTを利用する際も順を追って生成していくことはできるが、このプロセスをワークフローとして一度作成すれば、自動的に実行できるようになるというのがLLMワークフローの利点である。
また、ワークフロー内のプロセス毎に利用するLLMを変えることもできる。そのため、例えば、Anthropic社のClaude3を使ってブログ記事を作成するケースであれば、Opus（Claudeの中で現状最も高品質なモデル）で詳細な記事を出力、Haiku（Claudeの中で現状最も軽量なモデル）で軽微な編集作業を行うなど、用途に応じて最適なモデルを選択できる。
これにより、速度とコスト面で最適なワークフローを構築することが可能になるのである。 

＜LLMワークフローのイメージ＞ 

Chatbotエージェントの作成と公開 

Difyでは、作成したLLMワークフローをそのままChatbotエージェントとして公開することができる。ユーザーの入力に応じた条件分岐なども、自然言語で簡単に設定可能である。これにより、高度なカスタマイズを行うことなく、LLMの機能を活用したChatbotを素早く構築可能だ。 

条件分岐の設定例 

• 「もし{ユーザー入力}が注文に関するものだったら」 
• 「{ユーザー入力}が同意の場合」 

などの条件を設定し、それぞれの場合の応答内容を用意することができる。高度な開発スキルがなくても、自然言語で条件分岐を設定できるのがDifyの大きな利点である。 

＜エージェント作成のイメージ＞ 

Difyは、LLMワークフローの構築からChatbotエージェントの公開まで一貫してサポートするプラットフォームである。生成AIの活用を検討しているビジネスパーソンにとって、非常に魅力的な選択肢となるだろう。 

オープンソースのため自社サーバー上で動かせる 

Difyはオープンソースのプラットフォームであるため、自社のサーバー環境で動作させることができる。これにより、データのセキュリティとプライバシーを確保しながら、LLMの機能を活用することが可能になる。企業のニーズに合わせてカスタマイズも行えるのである。 

Difyは、LLMの活用を容易にするだけでなく、セキュリティとカスタマイズ性の面でも優れた選択肢となっている。生成AIの導入を検討している場面において、今後注目すべきプラットフォームといえるだろう。 

まとめ 

本記事では、「RAG」「ファインチューニング」「独自LLMモデル」「ローカルLLM」と、最近話題となっている生成AI開発プラットフォーム「Dify」について解説した。これらの技術やプラットフォームの特色を理解し、適切に活用することで、生成AIの可能性を最大限に引き出し、自社のビジネスに活かすことができるだろう。 

生成AIの社内活用を検討する際には、自社のニーズや課題に合わせて、最適な手法を選択することが重要である。RAGやファインチューニングを活用し、既存のLLMの性能を向上させる、独自LLMモデルを構築して自社に最適化された生成AIを実現する、あるいはローカルLLMを導入してデータプライバシーとセキュリティを強化するなど、様々なアプローチが考えられる。 

Difyについていうと、これまで構築にかなりのコストがかかったRAGが簡単に構築できることはもちろんだが、オープンソースで提供されているので、仕様変更の適用時期なども自社でコントロールできる。これはセキュリティ面での安心感はもちろんだが、生成AI系のサービス/プラットフォームは進化が早く、機能追加や画面仕様変更が頻繁に行われることによる現場での混乱も押さえられるという副次効果もある。 

生成AIの進化は目覚ましく、新たな手法やツールが次々と登場している。最新のトレンドを追いながら、自社のビジネスにどう活かせるかを常に考え、実践していくことが、生成AIによる競争力強化につながるのは間違いないだろう。 

そして、これら生成AI活用において大切なのは“課題の見極め”である。課題とは理想と現実のギャップだ。生成AIでできることを知ると、多くのアイデアが浮かぶこともあるが、アイデアより課題が重要であるということを忘れてはいけない。「こんなことができたらいいのに」とアイデアが先に浮かぶこと自体は問題ない。ただ、そのアイデアが解決する課題（理想とのギャップ）は何か。これがもっとも重要だ。 

対象とする課題の質が低い場合、その課題を解決するアイデアをいくら磨き上げても、誰も使うことはない。「何ができるか」ではなく「何をすべきか」この点を押さえ、皆様が生成AIを活用した新たな価値創造にチャレンジされることを楽しみにしている。 

専門文書 AIソリューション「ドキュサポ AI-4OO」
このように今後の活用が期待される生成AIを使って、
御社専用の文書の自動作成・チェックできるシステムが構築可能です。

「ドキュサポ AI-4OO」は、御社内のあらゆる文書やデータ、社外の業界の専門文書などを取り込み
文書の自動作成、文書チェック、ナレッジの検索などを可能にする御社専用の生成AIシステムです。
御社の文書の特徴や専門用語などを元に構築するため、高精度のアウトプットを実現します。

「ドキュサポ AI-4OO」ご活用シーン(例)：
■ 社内で必要な文書や資料の自動生成
■ 作成資料のクオリティチェックや、資料間の整合性チェック
■ 社内外の情報やナレッジの検索・調査
その他、個別カスタマイズが可能な生成AI環境で、
社内の知見を統合的に分析・集約したアウトプットをセキュアな環境をご提供します。