野坂 大喜（弘前大学大学院保健学研究科/医学部保健学科、弘前大学情報連携統括本部情報基盤センター 兼任）
キーワード
AI内のブラックボックス
説明可能なAI
アテンション
前回は、優れた画像認識性能を示す畳み込みニューラルネットワークというアーキテクチャ、そして、効率的な学習を進めるための転移学習と強化学習という手法について説明してきました。しかし、優れた性能を有するAIとはいえ、判断根拠がわからない医療システムを信頼するわけにはいきません。今回は、AI結果の可視化に焦点を当てて説明します。
◆AIのブラックボックス化
AIのブラックボックス化（図1左）とは、AIの内部でどのように決定が下されるかが外部からは分かりにくく、理解しにくい状態を指します。臨床検査室で尿沈渣画像や血球画像の認識に使用されてきた機械学習は、認識して欲しい鑑別点をヒトが示すことでAI学習がなされるため、根拠を理解することができました。
しかし、深層学習によるAIは、数百万から数十億のパラメータを持つことがあり、学習過程を理解するのは困難ですし、大量のデータから学習するために、判断がどのデータに基づいているかも明確ではありません。
医療分野でのAIの利用は、検査判定・自動診断から検査提案・予後予測まで多岐にわたって進んでいきますが、透明性や説明責任の欠如、信頼性という課題が生じます。具体的には、医療AIによる判断過程が不明確である場合、臨床検査技師はその結果を信頼しづらくなること、検査結果が誤りだった場合、患者に重大な影響を及ぼす可能性があり、誰がその責任を負うのかという問題です。臨床検査技師へのAI教育やトレーニングだけでは解決が難しいことから、AI判断の透明性を高めるための技術開発が求められています。
◆説明可能なAI
「AIが根拠を示せないのであれば検査室に導入されるのはまだ先になるのでは・・・」とお考え（安心？）になった方もいらっしゃるのではないでしょうか。
ただ、このような課題に対してもAI技術を使って解決しようとする試みがなされています。その1つが説明可能なAI（Explainable AI、XAI）です。XAIとはAIがどのようにして結論や予測を導き出したのかを説明できるようにすることを目的としたAIを理解するためのAIです（図1右）。
図2は、当研究室で作成した血球鑑別AIがどこに注目して判断をしたのか可視化させたものですが、XAIを用いることでAIの判断過程が明確になるため、臨床検査技師は医師や患者に検査判定や自動診断に至った理由を具体的に示すことができます。
これまで検査装置は測定結果を提示し、臨床検査技師がデータを確認、経験や知識に基づいて数値や結果の妥当性を判断してきました。しかし、AIを搭載した検査装置は、AIが自動判定を行い、測定結果に対する判断根拠をXAIが示します。つまり、AIが結果を出すだけでなく、XAIで判断根拠を示し、臨床検査技師はアシストを受けて結果報告を行うことができます。ただし、この場合でも、XAIの説明を過信しすぎるのは危険ですので、限界も踏まえて臨床検査技師は結果報告する必要があります。
◆ブラックボックス化を防ぐアテンション
ここまでブラックボックス化に対してAI自身に説明させようという試みを述べてきましたが、「AIを作成する段階で臨床検査技師が関与することでブラックボックス化を防げないのか？」という疑問もあるのではないでしょうか？
この考え方に対しては、アテンションという方法が提案されています。画像認識AIモデルにおけるアテンションとは、画像の特定の部分に重点を置き、その部分に集中して処理を行うメカニズムです。画像内の重要な領域に焦点を当てることで、より正確で効率的な認識や予測が可能になります。具体的には、臨床検査技師がAIに学習を行わせる際に、病変部位や異常箇所にマークを付けることで、重要な部分にアテンションを向けられるようになります。
この作業、病理を担当されている方は普段の業務で行っている作業ではないでしょうか。つまり、より賢いAIを作成することは、実は私たち臨床検査技師が行っている業務の延長上にあり、これまでの“付加価値”を生むために行ってきた取り組みが活かされることになるのです。
「AIの登場によって臨床検査技師の仕事がなくなるのでは？」といった懸念をお持ちの方もいらっしゃるでしょう。しかし、むしろ検査データへの付加価値が新たな検査技術を生み出していきますので、臨床検査技師の新たな価値が見つかったと視点を変えることができると思います。
※次回（7月25日木曜日配信予定）の臨床検査技師によるAI構築（4）AIが未知の疾患を作り出すことに成功？では、「生成AIモデル、敵対的生成ネットワーク」などを解説する予定です。
野坂 大喜
PROFILE ｜大学病院勤務を経て現職。医用工学・情報科学を専門とし、病理画像診断システムの開発に携わる。大学発ベンチャー取締役の企業経験も有し、現在は医療AI技術や医療VRの研究を進めると共に、AI社会における言語技術教育に取り組んでいる。
