OpenAIが強化学習型ファインチューニングの参加受付開始！「強化学習型ファインチューニング」ってなに？

OpenAIが展開する「12 Days of OpenAI」の2日目となる2024年12月7日、新たな技術「強化学習型ファインチューニング（Reinforcement Fine-Tuning）」の発表がありました。初日に発表された最新モデル「o1」をさらに進化させる技術として注目を集めています。

専門分野に特化したAIモデルを少量のデータで効率的に作成できる画期的な技術で、2025年の一般公開に先立ち、研究機関や企業向けにアルファ版APIの提供を開始しました。

「12 Days of OpenAI」とは

OpenAIは2024年12月から、12営業日連続で新機能や新製品を発表する「12 Days of OpenAI」を開催しています。クリスマスソング「12 Days of Christmas」にちなんで名付けられた企画で、CEOのサム・アルトマン氏自らがライブ配信で新機能を紹介。

初日となる12月6日には、最新モデル「o1」の正式リリースと新料金プラン「ChatGPT Pro」の提供開始が発表され、大きな反響を呼びました。2日目となる今回は、AIの新しい学習方法となる「強化学習型ファインチューニング（Reinforcement Fine-Tuning）」が発表されました。

Day2「強化学習型ファインチューニング」とは

強化学習型ファインチューニングは、AIに人間のような学習能力を持たせる新技術です。従来のファインチューニングは、単語帳を丸暗記するように大量のデータを覚えさせる必要がありました。

一方でRFTは、人間が学習するように、少量のデータから考え方自体を学ぶことができます。たとえば、医療診断において従来のAIは数万件の症例を暗記する必要がありましたが、RFTを活用すると数百件程度の症例から診断の考え方自体を学習できます。医師が経験を積んで診断能力を向上させるのと同じような仕組みといえるでしょう。

期待される応用分野

RFTは、専門性の高い分野での活用が期待されています。以下で、応用しやすい分野などを紹介します。

医療分野での診断支援

RFTは医療分野での診断支援に大きな可能性を秘めています。医療現場では症例データの収集に時間がかかり、特に希少疾患では十分なデータを集めることが困難でした。RFTは少量のデータでも「診断の考え方自体」を学習できるため、医師の経験に近い形で診断支援が可能になります。

実際の活用例として、バークレー研究所が希少遺伝病の診断にRFTを導入しています。約1,100件という比較的少ない症例データから学習を行い、患者の症状から原因遺伝子を特定するAIモデルの開発に成功しました。

RFTを導入することで、従来のAIでは困難だった複雑な症例の分析も可能になり、医師の診断精度向上に貢献しています。

法務分野での判例分析

RFTは法律文書の解釈や判例分析において、画期的な進歩をもたらす可能性があります。法務分野では「前例との類似点の見極め」や「法律用語の文脈に応じた解釈」が重要であり、従来のAIではそうした判断が困難でした。RFTは、弁護士が判例を分析する際の判断手順すら学習できるため、より正確な法的支援が可能になります。

実際に、法律情報サービス大手のトムソン・ロイターは、RFTを活用した法務アシスタントAIの開発に成功しています。例えば、契約書の条項が過去の判例とどのように関連するかを分析したり、特定の法律用語が持つ意味を状況に応じて適切に解釈したりできるようになりました。従来のGPT-4では見逃していた重要な法的解釈も正確に把握できるようになり、弁護士の業務効率化や法的サービスの品質向上に貢献しています。