LLMは法情報の欠落に気づいてるか? - メタ認知(metacognition)研究インスパイアの調査

こんにちは、LegalscapeのAIエンジニアのDannyです。 この前、日本の法律データを使っていくつかの実験を行い、そこで分かったのは「かなり強力なLLMであっても、重要な時間的・法律的情報が欠落している場合に、確実に回答を控えたり、不確実性に明示的に言…

リーガルAI:時点情報の誤解によるハルシネーションの調査と抑制

はじめに こんにちは、LegalscapeのAIエンジニアのDannyです。今回の記事はLegalscapeのLabsチームが最近行ったリーガルAIの研究開発について共有します。 業務効率化のためのLLMベースのAIシステムは急速に法律ワークフローへ取り入れられています。驚異的…

実践LLMをCoTで考えさせるリスク - AIの体調診察シリーズ (1)

はじめに こんにちは、LegalscapeでAIを開発しているエンジニア、Dannyと申します。 Legalscapeでの弁護士向けのリーガルAIを作る上で最も重要なことの一つは、基盤となるモデル(主に大規模言語モデル:LLM)のfailure mode(失敗モード)に注意を払うこと…