エピソード

  • AI Meets Healthcare: Evaluating LLMs on Medical Tasks

    AI Meets Healthcare: Evaluating LLMs on Medical Tasks
    2025/07/16

    Welcome to the first episode of The Healthcare AI Podcast, presented by John Snow Labs!

    Join John Snow Labs CEO David Talby and CTO Veysel Kocaman, as they crack open the future of medicine.

    They’ll reveal how state-of-the-art Healthcare AI is transforming the industry, directly comparing leading Frontier LLMs like OpenAI's GPT-4.5, Anthropic's Claude 3.7 Sonnet, and John Snow Labs’ Medical LLM.

    Dive deep into critical clinical tasks, from summarization and information extraction to de-identification and clinical coding. You'll get expert insights from practicing doctors evaluating these models for factuality, relevance, and conciseness, demonstrating which AI truly delivers.

    Bonus, understand the significant cost differences and learn why private, on-premise deployment is a game-changer for data privacy and compliance. You'll walk away with a deeper knowledge of the models poised to revolutionize healthcare, ensuring accuracy and compliance in your AI initiatives.


    Episode Highlights & Timestamps:

    0:00 - Welcome & Episode Overview

    0:48 - Benchmarking Frontier LLMs & Clinical NLP

    2:00 - The Competitors: OpenAI, Anthropic, AWS, Azure, Google

    3:15 - Introducing John Snow Labs Medical LLMs

    6:42 - Why AI Evaluation is Critical in Healthcare

    9:48 - Blind Evaluation by Medical Doctors: Methodology

    15:12 - Overall Preference: John Snow Labs vs. GPT-4.5 & Claude Sonnet 3.7

    22:56 - Clinical Information Extraction Benchmarks

    27:08 - Advanced NLP: Named Entity Recognition (NER) Deep Dive

    29:53 - Assertion Status Detection: the crucial role of context (e.g., patient denies pain vs. father with Alzheimer's) and how different solutions compare in accuracy.

    35:37 - Medical Coding with RxNorm: the way of mapping clinical entities to standardized terminologies and the performance metrics for RxNorm.

    39:18 - The Clinical De-identification of PHI Data: the most critical privacy use case in healthcare


    Connect with us:

    Our website: https://www.johnsnowlabs.com/

    LinkedIn: https://www.linkedin.com/company/johnsnowlabs/

    Facebook: https://www.facebook.com/JohnSnowLabsInc/

    Twitter: https://x.com/JohnSnowLabs
    続きを読む 一部表示
    47 分

今、聴かれている人気作品
『国宝 上 青春篇』のカバーアート
国宝 上 青春篇 著者： 吉田 修一
『嫌われる勇気――自己啓発の源流「アドラー」の教え』のカバーアート
嫌われる勇気――自己啓発の源流「アドラー」の教え 著者： 岸見 一郎, 、その他
『成瀬は天下を取りにいく』のカバーアート
成瀬は天下を取りにいく 著者： 宮島 未奈
『今さらだけど、アドラー心理学を実践してみたらすごかった！ 普通の会社員が人生を変えた12ヵ月（大和出版）』のカバーアート
今さらだけど、アドラー心理学を実践してみたらすごかった！ 普通の会社員が人生を変えた12ヵ月（大和出版） 著者： 小泉 健一
『誰かが私を殺した』のカバーアート
誰かが私を殺した 著者： 東野 圭吾
『それいけ！平安部』のカバーアート
それいけ！平安部 著者： 宮島 未奈
『それ、すべて過緊張です。』のカバーアート
それ、すべて過緊張です。 著者： 奥田 弘美
『鬼の哭（な）く里』のカバーアート
鬼の哭（な）く里 著者： 中山 七里
『国宝 下 花道篇』のカバーアート
国宝 下 花道篇 著者： 吉田 修一
『３秒でハッピーになる 超名言１００』のカバーアート
３秒でハッピーになる 超名言１００ 著者： ひすい こたろう
『日曜劇場『VIVANT』ノベライズ (上)』のカバーアート
日曜劇場『VIVANT』ノベライズ (上) 著者： 福澤 克雄(原作), 、その他
『その復讐、お預かりします』のカバーアート
その復讐、お預かりします 著者： 原田 ひ香
『人は話し方が9割』のカバーアート
人は話し方が9割 著者： 永松 茂久
『プロジェクト・ヘイル・メアリー 上』のカバーアート
プロジェクト・ヘイル・メアリー 上 著者： アンディ・ウィアー, 、その他
『DIE WITH ZERO 人生が豊かになりすぎる究極のルール』のカバーアート
DIE WITH ZERO 人生が豊かになりすぎる究極のルール 著者： ビル・パーキンス, 、その他
『幸せになる勇気――自己啓発の源流「アドラー」の教えII』のカバーアート
幸せになる勇気――自己啓発の源流「アドラー」の教えII 著者： 岸見 一郎, 、その他
『アルジャーノンに花束を 〔新版〕』のカバーアート
アルジャーノンに花束を 〔新版〕 著者： ダニエル・キイス, 、その他
『成瀬は信じた道をいく』のカバーアート
成瀬は信じた道をいく 著者： 宮島 未奈
『NEXUS 情報の人類史 上: 人間のネットワーク』のカバーアート
NEXUS 情報の人類史 上: 人間のネットワーク 著者： ユヴァル・ノア・ハラリ (著), 、その他
『ゲーテはすべてを言った』のカバーアート
ゲーテはすべてを言った 著者： 鈴木 結生
『夜行観覧車』のカバーアート
夜行観覧車 著者： 湊 かなえ
『サピエンス全史 上 文明の構造と人類の幸福』のカバーアート
サピエンス全史 上 文明の構造と人類の幸福 著者： ユヴァル・ノア・ハラリ, 、その他
『幸せな人は知っている「人生を楽しむ」ための30法則』のカバーアート
幸せな人は知っている「人生を楽しむ」ための30法則 著者： 小林 正観
『同志少女よ、敵を撃て』のカバーアート
同志少女よ、敵を撃て 著者： 逢坂 冬馬
『リボルバー』のカバーアート
リボルバー 著者： 原田 マハ
『こうやって頭のなかを言語化する。』のカバーアート
こうやって頭のなかを言語化する。 著者： 荒木 俊哉
『藍を継ぐ海』のカバーアート
藍を継ぐ海 著者： 伊与原 新
『元世界トップ10プロポーカープレイヤーが教える 心を整える最強マインドセット』のカバーアート
元世界トップ10プロポーカープレイヤーが教える 心を整える最強マインドセット 著者： マナベ ツバサ
『月の影 影の海（上）　十二国記』のカバーアート
月の影 影の海（上）　十二国記 著者： 小野 不由美
『ブレイクショットの軌跡』のカバーアート
ブレイクショットの軌跡 著者： 逢坂 冬馬