概要図
研究のポイント（着眼点）
- 従来の分子設計では、AIによって有望であると予測された分子が、実際には望ましくないというケース（報酬ハッキング）が頻発する。これがAIによる分子設計の実用化を妨げる大きな要因の一つになっている。
- 特に創薬や材料開発では同時に改善したい特性が多い（多目的最適化）ため、生成AIの有用性は限定的である。
- 生成AIを用いたデータ駆動型設計において、AIの予測信頼性を維持しながら複数の特性を同時に最適化するためのフレームワークDyRAMO（Dynamic Reliability Adjustment for Multi-objective Optimization）を開発した。
ツール、データベースへのリンク
- DyRAMO：https://github.com/ycu-iil/DyRAMO
- ChemTSv2（分子生成AI）：https://github.com/molecule-generator-collection/ChemTSv2
- ChemTSv3（分子生成AI）：https://github.com/molecule-generator-collection/ChemTSv3
- PHYSBO（ベイズ最適化）：
https://github.com/issp-center-dev/PHYSBO /
https://mat-dacs.dxmt.mext.go.jp/list/133 /
https://mat-dacs.dxmt.mext.go.jp/list-post/276?listid=133
用語
- 報酬ハッキング：設計された目的関数（報酬）を最大化しようとする際に、意図しない方法で目標を達成してしまう現象。例えば、分子設計AIが本来の目的である「有望な分子の生成」ではなく、予測モデルの意図しないバイアスを利用して高いスコアを出す分子を作るケースが挙げられる。
- 生成AI：機械学習を用いて、新しいデータを生成するAIの総称。画像、文章、音楽などのコンテンツを生成する用途のほか、科学技術分野では新しい材料や化合物の設計にも活用されている。
- 適用範囲（Applicability Domain; AD）：機械学習モデルが所定の信頼度で予測を行えるデータの範囲を指す概念。機械学習モデルは、学習データと類似したデータに対しては高い信頼度で予測できるが、大きく異なるデータに対しては信頼度が低下するため、予測の適用可能性を判断する指標として利用される。
- 多目的最適化：複数の目的関数を同時に最大化（あるいは最小化）する最適解を求める問題。
概要
生成AIと予測AIを組み合わせた分子設計は有望である一方、外挿領域での予測信頼性低下による報酬ハッキングが課題であった。本研究では、予測AIの信頼度を自動的に調整しながら多目的最適化を行うDyRAMOを開発した。DyRAMOは信頼度設定、分子設計、評価を繰り返し、ベイズ最適化により適切な信頼度の組み合わせを効率的に探索する。
研究の背景
近年、生成AIを活用して望ましい特性を持つ分子を設計する技術が発展し、医薬品開発や機能性材料創出への応用が期待されている。しかし、生成AIで分子を生成するだけでは不十分であり、望ましい特性を適切に評価し、その結果を生成AIへフィードバックする仕組みが不可欠である。このため、生成AIと教師あり学習による予測モデル（予測AI）を組み合わせたデータ駆動型分子設計が、高速かつ効率的な手法として注目されている。
一方で、予測AIは内挿には強いものの、外挿では予測の信頼性が低下する。生成AIによって教師データに含まれない新規分子が設計されると、予測性能が保証されず、誤った予測に基づく最適化、すなわち報酬ハッキングが生じる可能性がある。この問題への対策として予測AIの適用範囲を考慮する方法があるが、多目的最適化では複数の予測AIの信頼度を同時に設定する必要がある。信頼度を高く設定しすぎると探索空間が極端に狭まり、低く設定すると信頼性の低い予測が増加する。さらに、適用範囲が重なる領域に分子が存在するかは事前に分からないため、適切な信頼度をあらかじめ決定することは困難であり、信頼性を考慮した多特性同時最適化はこれまで実現されていなかった。
研究の内容
本研究では、予測AIの適用範囲を定義する信頼度を自動的に調整するフレームワークであるDyRAMOを開発した。DyRAMOでは、①信頼度の設定、②分子設計、③信頼度と分子設計結果の評価、という三つのステップを繰り返すことで、信頼度の調整を行う（図1）。
Step 1では、使用する予測AIごとに信頼度を設定し、それに基づいて適用範囲を定義する。本検証では、予測対象分子と教師データ中の分子との構造的類似度を信頼度の基準とした。また、ユーザーは信頼度の調整範囲や、優先的に信頼度を高くする特性を指定することが可能である。Step 2では、Step 1で定義された適用範囲内において、全ての特性が最適化された分子の設計を行う。Step 3では、設定された信頼度の高さと分子設計の結果を評価し、その結果をもとに再び信頼度を更新する。さらに、適切な信頼度の組み合わせを効率的に探索するために、PHYSBOを用いてベイズ最適化を導入した。
研究の成果
DyRAMOを用いて、非小細胞肺がん治療に関連する標的タンパク質である上皮成長因子受容体（EGFR）に結合する医薬品候補化合物の設計を行った。ここでは、EGFR阻害活性、代謝安定性、膜透過性の三つの特性の同時最適化を目的とし、分子生成AIとしてChemTSv2を用いた。その結果、DyRAMOは、信頼度が一定程度確保された予測に基づき、三つの特性が全て同時に最適化された分子の設計に成功した。信頼度を考慮しない生成手法と比較すると、DyRAMOでは設計された分子の信頼度が相対的に高い範囲に維持されていた。また、設計された分子の中には、既存の承認薬であるゲフィチニブが含まれており、本手法が実用的に有望な医薬品候補を設計できることが示された。さらに、DyRAMOには、特性ごとに異なる優先度を設定する機能が実装されており、特に高い信頼度が求められる特性と、ある程度の妥協が許容される特性を区別した最適化が可能である。
将来への展望
従来のAIによる分子設計では、AIが有望であると判断した分子が実際には適切でない、という現象が発生する可能性が高く、これが分子設計のプロセスの効率を低下させる要因の一つとなっていた。DyRAMOを導入することで、設計段階で信頼性の高い評価に基づき分子を選定できるため、開発の手戻りが減少し、結果として医薬品開発や材料開発のプロセスが加速されることが期待される。
参考文献
- T. Yoshizawa, S. Ishida, T. Sato, M. Ohta, T. Honma, K. Terayama, “A data-driven generative strategy to avoid reward hacking in multi-objective molecular design,” Nat. Commun., 2025, 16, 2409.
- S. Ishida, T. Aasawat, M. Sumita, M, Katouda, T. Yoshizawa, K. Yoshizoe, K. Tsuda, K. Terayama, “ChemTSv2: Functional molecular design using de novo molecule generator”, WIRES Comput. Mol. Sci. 2023, 13, e1680.