Google社が2024年2月に提供を開始した「Gemini Ultra」。全32項目の性能テストでChatGPTの「GPT-4」を上回るスコアを記録し、注目を集めています。 

現在ChatGPTを活用している方のなかで「どちらの生成AIツールを使うべきか」悩んでいる方も多いでしょう。そのお悩みの一助になればと、ChatGPTの「GPT-4」と「Gemini Ultra」を前後編の記事にわけて徹底比較します。 

今回の記事は後編ということで、両者の性能を7項目で比較します。前編をまだ読んでいない方はこちらの記事をぜひご覧ください。

ChatGPT・Geminiの性能を比較

ChatGPTの「GPT-4」とGeminiの「Gemini Ultra」を、下記の7項目で比較します。 

1. 基本性能の比較 
2. 学習期間の比較 
3. テキスト生成の比較 
4. 理解力の比較 
5. 画像認識の比較 
6. 画像生成の比較 
7. 安全性の比較 

記事を最後まで読んでいただくことで、ChatGPTとGeminiの性能や機能の違いを理解できるでしょう。ぜひ参考にしてください。 

基本性能の比較

Google社は、最新モデルである「Gemini Ultra」が「GPT-4」を超える性能を実現したと発表しました。Gemini Ultraは、数学推論、画像、音声、および動画認識などを含む32項目のベンチマークのうち、30項目もGPT-4よりも優れた成績を残したのです。 

引用元：https://www.businessinsider.com/google-gemini-ai-performance-openai-chatgpt-gpt4-2023-12 

実際に両者の生成AIを使ってみると、生成速度などは圧倒的にGeminiが速く感じます。ただ、生成する内容や読解力などはどちらにも良し悪しがあり「Geminiのほうが高性能だから、使いやすい！」とはならない印象です。 

ベンチマークのスコアだけでは見えない部分を、さらに比較していきましょう。 

学習期間の比較

ChatGPTやGeminiなどの生成AIは、特定の時期までの膨大なデータを学習してユーザーの質問に回答します。つまり、最新情報は学習していないため、「今日の天気は？」などと質問しても回答してくれないのです。 

試しにChatGPTとGeminiに、下記の質問をしてみました。 

プロンプト「あなたはどの時点までの情報を把握していますか？」 

ChatGPTは「2023年までのもの」と回答したのに対し、Geminiは「2024年3月29日(執筆時の日付)までに公開された情報にアクセスできます」という回答をしました。 

GeminiはGoogleが提供しているサービスのため、Googleの検索エンジンと連携しています。そのため、比較的新しい情報でも回答してくれるのです。 

学習期間の比較としては、Geminiに軍配があがるといってよいでしょう。 

テキスト生成の比較

下記の質問をしてテキスト生成の能力を比較してみました。 

プロンプト「AIとはどういう意味ですか？AIのことについてなにも知らない人でも理解できるように、200文字以内で説明してください。」 

両者の回答は画像のとおりです。 

「Gemini Ultra」 

「GPT-4」 

Geminiは200文字をオーバーしてしまいましたが、箇条書きなどを用いて説明しています。また、ChatGPTは文字数をクリアしながら回答してくれました。 

どちらの説明がわかりやすかったかは、人によってさまざまだと思います。僅差ではありますが、筆者はGeminiの回答のほうがわかりやすいと感じました。 

理解力の比較

ここでは両者の理解力や読解力を比較するために「引っ掛け問題」のような下記の質問を投げかけてみます。 

プロンプト「現在わたしは10個の時計を持っていますが、去年3個の時計を売却しました。いま何個の時計を所持しているでしょうか？」 

ちなみに、上記の答えは「10個」です。「現在わたしは10個の時計を持っている」と言っているので、去年に時計を何個売ろうが、答えは10個になります。 

両者の回答は、下記画像のとおりです。 

「Gemini Ultra」 

「GPT-4」 

両者の回答をみると、ChatGPTはミスリードに引っかからずに回答しているのに対し、Geminiは間違った回答をしています。 

日頃から両者のツールを利用している筆者ですが、ChatGPTよりもGeminiのほうが読解力や理解力が低いという印象です。比較内容からもわかるとおり、日本語の理解力という点ではChatGPTに軍配が上がるといってよいでしょう。 

画像認識の比較

「Gemini Ultra」と「GPT-4」は、画像の認識も可能です。認識能力にどのような差があるのか、テストしてみました。 

東京タワーの写真を貼り付けて「写真について説明してください」と指示してみました。 

引用元：https://www.photo-ac.com/main/search?by_ai=&q=%E6%9D%B1%E4%BA%AC%E3%82%BF%E3%83%AF%E3%83%BC&personalized=1&qid=&creator=&ngcreator=&nq=&exclude_ai=on&orientation=all&sizesec=all&color=all&model_count=-1&age=all&mdlrlrsec=all&prprlrsec=all&qt=&p=1&pt=B 

両者の回答は以下のとおりです。 

「Gemini Ultra」 

「GPT-4」 

両者の回答をみてみると、Geminiは「東京スカイツリーが手前に写っている」という間違った説明をしています。一方で、ChatGPTは東京タワーの豆知識を交えて説明をしたあと、情緒のある情景の説明まで行っています。 

画像認識の精度は、ChatGPTに軍配が上がるといってよいでしょう。 

画像生成の比較

「Gemini Ultra」と「GPT-4」は、画像の生成が可能です。ただGeminiは、画像生成に関しては日本語でのプロンプト入力に対応していません。そのため、両者に英語で下記プロンプトを入力してみます。 

プロンプト「Generate images of dogs playing in the yard.(庭で遊ぶ犬の画像を生成してください)」 

両者の生成した画像は下記のとおりです。 

「Gemini Ultra」 

「GPT-4」 

Geminiが生成した画像は、写真と判別ができないクオリティのものからイラストタッチのものまで、4枚の画像を生成してくれました。一方ChatGPTは、クオリティは申し分ないものの、猫が混じっていたり、構図にやや違和感を感じたり、Geminiよりも画像生成能力が劣る印象を受けます。 

また、以前はChatGPTに画像生成をお願いすると、2～4枚の画像を生成してくれましたが、最近は1枚しか生成してくれなくなりました。 

筆者の主観ですが、画像生成のクオリティはGeminiのほうが高いと感じました。 

安全性の比較

生成AIを利用する際「ハルシネーション」という現象に気をつけなければなりません。ハルシネーションとは、AIが事実に基づかない虚偽の情報を生成してしまう現象のことです。 

特にビジネスシーンなどで生成AIを利用する際は「AIがデタラメな回答をしていないか」を確認するために、複数の情報源を確認しながらハルシネーション対策を講じる必要があります。 

実際にChatGPTではハルシネーションが度々起こることが報告されており、情報源の確認は必須といえるでしょう。 

一方でGeminiは、Googleの検索エンジンと連携しています。Geminiで調べ物をした際は、参照元の情報をGemini自らユーザーに提示してくれるため、情報の真偽を見極めやすいです。 

「ハルシネーションのリスク」という観点でみると、ChatGPTよりもGeminiに軍配が上がるといえるでしょう。 

まとめ

今回の記事では前後編にわけて、ChatGPTとGeminiを徹底比較してきました。 

ChatGPTにもGeminiにも得意不得意があるため、個人的にはケースバイケースでの使い分けをおすすめしています。ただ「2つ契約するには月額費用が高すぎる」と感じる方は、今回の記事を参考にし、どちらの生成AIツールを利用するのかを選ぶとよいでしょう。 

製薬業界で生成AIを活用する「ラクヤクAI」
このように今後の活用が期待される生成AIですが、中でも注目を集めるのが製薬分野です。

「ラクヤクAI」は、治験関係書類や添付文書といった社内外の膨大なデータを活用し
製薬事業のあらゆるシーンを効率化する専門文書AIサービスです。
基礎研究から製造販売後調査まで、多岐に渡る製薬業務の中で取り扱われる
様々な文書の作成・チェック作業を自動化し、圧倒的な業務スピード改善を実現します。

「ラクヤクAI」ご活用シーン(例)：
■ 治験関連文書やプロモーション資料の自動生成
■ 作成資料のクオリティチェックや、資料間の整合性チェック
■ 講演内容(資料・音声)の適用外表現モニタリング
■ 薬剤情報やナレッジの検索・調査
その他、個別カスタマイズが可能な生成AI環境で、
社内の知見を統合的に分析・集約したアウトプットをセキュアな環境をご提供します。