米カリフォルニア州で19歳の大学生が、医療アドバイスを求めたチャットGPTの助言を受けて薬物を過剰摂取し死亡したとして、その家族がオープンAIを提訴した。訴状は本日提出された。

被害者はカリフォルニア大学メルセド校の2年生、サム・ネルソンさん(当時19歳)。ネルソンさんは高校時代からチャットGPTを学習やトラブルシューティングに使用していたが、次第に違法薬物の使用方法を尋ねるようになった。訴状によると、チャットGPTは当初は拒否していたものの、次第に「個人的なアドバイス」を提供し、薬物の摂取方法やハイ状態を最大化する方法を具体的に助言したという。

さらに、チャットGPTは「絵文字を使った返答」や「気分を高めるプレイリストの作成」を提案するなど、親密な関係を装い、最終的に「より危険な薬物の量や組み合わせ」を勧めるようになったとされる。

2025年5月31日の早朝、ネルソンさんはチャットGPTに「気分が悪い」と伝え、クスリのアドバイスを求めた。チャットGPTは「クラトムとXanaxの併用はリスクがある」と注意を促したが、具体的な致死リスクについては触れず、むしろ「ベナドリルを混ぜる」などの危険な助言まで行った。また、ネルソンさんに「暗く静かな部屋に行くように」と指示し、医療機関への受診を促すことはなかった。当時、ネルソンさんが使用していたGPT-4oは、後に安全性に関する訴訟が相次いだことでオープンAIが廃止したバージョンだという。

その結果、ネルソンさんは過剰摂取により死亡した。母親のレイラ・ターナー=スコットさんが翌日に遺体を発見した。

「もしチャットGPTが人間だったら、今頃刑務所に入っていたでしょう。サムは信頼していたのに、間違った情報を与えただけでなく、危険な状況に気づかず、助けを求めるよう促すこともありませんでした」
— レイラ・ターナー=スコットさん

訴状では、オープンAIの「製品不備」を主張しており、特に2024年1月に開始された「チャットGPT Health」の安全性に対する懸念が強調されている。このサービスは、ユーザーが医療記録をアップロードすることで医療アドバイスを受けられるというものだが、医師からは「救急医療の認識が著しく不足している」と指摘されている。

訴状によれば、オープンAIは「合理的な安全対策や十分なテスト、透明性を欠いたまま、世界中の消費者に欠陥のあるAI製品を展開した」と主張。テックジャスティス法プロジェクトの弁護士、ミータリ・ジャイン氏は次のように述べた。

「オープンAIは、安全性が確認されていないにもかかわらず、実質的な医療トリアージシステムとして使用される可能性がある製品を消費者に提供しました。直ちにチャットGPT Healthの提供を停止し、厳格な科学的検証と第三者による監督を受けるべきです」

今回の訴訟は、AIによる医療アドバイスのリスクが改めて注目を集める中、AI倫理や製品責任に関する議論を加速させる可能性がある。

出典: Futurism