- 博客(540)
- 收藏
- 关注
RSS订阅原创 Nature子刊最新多模态模型，仅靠618 例患者数据支撑，即可实现非小细胞肺癌患者DFS与OS的高精度预测
疾病负担：肺癌是癌症相关死亡的主要原因，非小细胞肺癌（NSCLC）占所有肺癌病例的85%。目前临床主要依靠TNM分期指导治疗，但同一分期患者的临床结局差异显著，仅基于TNM分期难以准确判断术后干预需求。现有挑战：早期NSCLC患者术后仍有疾病进展或死亡风险，而需要术后干预的患者中也有部分无需治疗即可保持无病生存。因此，准确预测NSCLC患者的无病生存期（DFS）和总生存期（OS）对个性化治疗至关重要。研究目标。
2025-06-20 10:42:10
1157
原创 70万份影像数据构建的医学基础模型登顶Nature正刊，包含6个数据集，面向8个临床场景！
胸部X光（CXR）是大多数肺部疾病的基础成像检查方法，深度学习在自动化解读方面潜力巨大。然而，现有模型在诊断范围、泛化性、适应性、鲁棒性和可扩展性上存在局限。为解决这些问题，研究团队开发了全开放的胸部X光基础模型Ark+，旨在通过循环积累和重用多源异构专家标签知识，提升模型在胸部疾病诊断中的性能，并推动开放科学和医学AI的民主化。Ark（积累和重用知识）是一个专门为胸部X光分析设计的完全开放的AI基础模型系统。
2025-06-18 21:07:52
807
原创 港科大团队提出一种融合病理与基因数据特征的跨模态医学AI框架，进一步提升生存分析的准确性
这篇文章提出了一种用于生存分析的跨模态转换与对齐（CMTA）框架，该框架通过探索病理图像和基因组数据之间的内在跨模态相关性并传递潜在的互补信息，以提升生存分析的准确性。
2025-06-18 18:52:01
757
原创 MIA｜结合手工特征与深度学习特征，实现多源混合特征的融合，准确实现浸润性乳腺癌的组织病理学图像分级
这篇文章提出了一种名为MSFusion的多源混合特征融合网络，用于通过H&E染色的组织病理学图像对浸润性乳腺癌（IBC）进行准确分级。
2025-06-16 14:50:40
700
原创 想借助AI分析肿瘤微环境，那么这篇顶刊最新提出的可学习原型引导的多实例学习框架值得参考！
三级淋巴结构（TLS）的临床意义TLS是在慢性炎症和恶性肿瘤等病理条件下形成的异位淋巴聚集体，其在肿瘤微环境中的存在与患者预后和免疫治疗反应密切相关，是重要的临床生物标志物。准确检测TLS对肿瘤免疫微环境研究和临床干预具有关键意义。检测挑战稀疏性与异质性：TLS在全玻片病理图像（WSIs）中分布稀疏，且不同癌种中形态、空间分布和细胞组成差异显著（如乳腺癌中呈紧凑簇状，肺癌中沿支气管血管结构弥散分布）。
2025-06-16 13:55:37
494
原创 Nature子刊解析为什么医学AI模型频繁发表在各大顶刊，但是在临床的应用却有限？关键在于缺乏可靠的外部验证！
临床场景：明确目标国家、人群 demographics（如年龄、性别、种族）、癌症分期及亚型（如非小细胞肺癌中的腺癌与鳞癌）。模型角色：界定其在诊断路径中的定位（如辅助临床医生、替代诊断或分诊工具）。
2025-06-13 11:29:56
972
原创 整合临床数据以及病理图像的微环境特征，实现乳腺癌基因突变的精准预筛查
这篇研究论文提出了一种可解释的多模态人工智能模型MAIGGT，该模型整合了组织病理学微环境和电子病历（EHR）表型，用于乳腺癌胚系基因检测，尤其是BRCA1/2突变的精准预筛查。MAIGGT框架最初整合了一个基于病理图像的模型WISE-BRCA（全玻片图像系统推断BRCA1/2突变），该模型从全玻片图像（WSIs）中提取高级组织病理学特征表示，并使用多尺度Transformer架构预测BRCA1/2突变状态。我们通过广泛的多中心评估和可解释性分析验证了WISE-BRCA的预测性能。
2025-06-13 11:22:33
647
原创 Nature Methods发表多组学基础模型，聚焦于组织病理与转录组数据的多模态整合难题
在计算生物学领域，人工智能虽已推动基因表达预测、组织注释等任务发展，但现有模型多局限于单一模态（组学或图像分析），缺乏整合组织形态学与转录组学的统一框架。为解决这一问题，研究团队开发了OmiCLIP视觉组学基础模型及Loki平台，旨在通过多模态数据融合，实现组织病理图像与转录组学的深度关联分析。
2025-06-12 11:12:15
862
原创 想构建多模态医学AI模型，但是不知道放射影像、病理图像、文本、组学等多源数据如何分析，那么这篇最新综述能给你一些启发！
本文是一篇关于医学多模态AI的范围综述，分析了2018-2024年发表的432篇相关论文，总结了多模态AI在医学领域的技术挑战、临床应用现状及未来方向。2018至2024年间，医学研究中多模态人工智能（AI）的研究图景随着聚焦多模态整合的文献数量增长而不断扩展。将本综述纳入的432篇文章按年份细分（图2a）可见其数量迅速增加，从2018年的3篇增长至本综述数据收集截止时2024年的150篇。本综述根据数据模态对文献进行分类，并在此进行概括性描述。多模态医疗AI的前沿算法设计。
2025-06-09 11:37:33
559
原创 Nature Medicine发表多模态医学AI基础模型，涵盖4种成像方式，收集了来自11个机构的214万多张图像
本文介绍了一种名为PanDerm的多模态皮肤学基础模型，该模型通过自监督学习对来自11个临床机构、4种成像方式的超200万张真实皮肤病图像进行预训练，在28个不同基准测试中均表现出最先进的性能，且在使用仅10%的标记数据时往往优于现有模型，展现出在多种临床场景中改善患者护理的潜力，并为其他医学专科开发多模态基础模型提供了参考。PanDerm在超过200万张跨四种成像模态的皮肤病图像上进行了预训练，可作为下游任务（包括分类、分割和临床诊断应用）的主干模型。
2025-06-09 11:30:52
834
原创 哈佛大学团队发布首个面向空间蛋白质组学领域的基础模型，可完成细胞表型以及组织微环境等复杂任务的分析
空间蛋白质组学通过单细胞分辨率成像解析组织内蛋白质空间分布，对肿瘤微环境分析、治疗响应预测等具有重要意义。然而，传统分析依赖细胞分割和单一标记阈值，难以捕捉多标记协同表达及复杂空间特征。本文提出首个空间蛋白质组学基础模型KRONOS，通过大规模自监督学习突破传统方法的局限性，实现细胞表型分析、区域分类、患者分层等多任务的高效建模。什么是KRONOS？KRONOS是一种与标记组合无关的空间蛋白质组学基础模型，支持对不同实验设置下的多重成像数据进行分析。
2025-06-07 13:46:59
1153
原创 这篇影响因子27+的医学AI综述，详细介绍了人工智能在癌症诊疗领域的最新研究与应用进展
这篇文章系统综述了人工智能（AI）在癌症诊疗领域的研究现状与应用进展，聚焦于AI在影像诊断、基因组学、治疗干预及患者管理等核心场景的创新实践。在影像诊断层面，深度学习模型如卷积神经网络（CNNs）已深度融入CT、MRI、病理全切片图像（WSIs）等多模态影像分析，显著提升早期癌症检测精度。例如Prov-GigaPath和CHIEF等基础模型通过处理超大规模病理数据，实现了肿瘤分型、突变预测等任务的性能突破，部分模型在特定任务上的准确率超过95%。
2025-06-04 14:05:01
890
原创 基于卵巢癌亚型分类任务，系统比较17种可用于组织病理学数据的模型性能，快速选择适合自己数据的基础模型
背景：卵巢癌是全球女性第八大常见癌症，组织学亚型（如高级别浆液性癌、子宫内膜样癌等）的准确诊断对治疗和预后至关重要，但病理学家诊断一致性约80%，且传统AI模型（如基于ImageNet预训练的ResNet）在组织病理学图像中表现有限。目的：评估组织病理学基础模型在卵巢癌亚型分类中的性能，比较其与传统模型的差异，并探索超参数调优、预处理技术的影响。
2025-06-04 14:00:27
928
原创 结合临床数据与病理切片，利用深度学习从结直肠癌组织切片中预测多种生物标志物
本文是发表于《Cell Reports Medicine》的回顾性多中心研究，旨在探索深度学习（DL）从结直肠癌（CRC）组织病理切片中预测多种生物标志物状态的能力，比较不同DL架构性能，验证模型在外部患者群体的泛化性，同时通过可视化技术分析模型决策依据，为临床应用提供参考。特征提取Marugoto使用预训练模型从全切片图像图块中提取特征。
2025-06-03 11:12:59
1117
原创 Nat. Commun｜借助深度学习分层方法，量化胎盘组织学全切片图像中细胞和显微解剖组织结构的变异性
胎盘病理评估对母婴健康管理至关重要，但其异质性和时间变异性给组织学分析带来挑战。本文介绍了一种名为HAPPY（Histology Analysis Pipeline.PY）的深度学习分层方法，用于量化胎盘组织学全切片图像中细胞和显微解剖组织结构的变异性。类别姓名单位第一作者牛津大学妇女与生殖健康系、牛津大学李嘉诚健康信息与发现中心大数据研究所通讯作者牛津大学妇女与生殖健康系、牛津大学李嘉诚健康信息与发现中心大数据研究所通讯作者。
2025-06-01 10:21:25
909
原创 Nat. Commun｜结合视觉基础模型与大语言模型，直接从病理图像生成病理报告
本文介绍了由德国亥姆霍兹慕尼黑中心等机构开发的视觉语言模型HistoGPT，其核心功能是从高分辨率组织全切片图像（WSIs）生成皮肤科病理报告。
2025-05-30 15:42:14
898
原创 Nature Cancer发布医学AI多模态模型，整合CT、免疫组化以及基因组数据，预测患者的免疫治疗响应
该研究旨在开发一种整合多模态数据的机器学习模型，以提高预测非小细胞肺癌（NSCLC）患者对PD-(L)1免疫治疗反应的准确性，为精准肿瘤学提供新方法。
2025-05-29 09:35:11
1239
原创 Nature Cancer发表医学AI多模态模型，整合临床、基因、影像以及病理数据，探索跨模态信息融合方法
疾病现状HGSOC是妇科恶性肿瘤主要死因，5年生存率低于30%，现有预后因素（如HRD状态、年龄、病理分期等）无法充分解释临床结局异质性。研究目标探索整合CT影像、组织病理和临床基因组数据，通过机器学习提升HGSOC患者的风险分层准确性。OncoFusion 是一款综合性机器学习流水线，旨在通过多模态数据整合对患者的总生存期进行风险分层。组织病理学全玻片图像（H&E WSIs）增强计算机断层扫描（CT）靶向测序面板（基因组数据）临床协变量。
2025-05-23 10:35:42
906
原创 无需免疫组化辅助，基于弱监督多实例学习框架即可通过HE全切片预测PD-L1表达
本文提出了一种基于弱监督多实例学习（MIL）的深度学习方法，用于从乳腺癌的H&E染色组织病理图像中预测PD-L1表达，为乳腺癌免疫治疗的生物标志物评估提供了一种高效、经济且可靠的新途径，有望推动深度学习在病理人工智能领域的应用，促进医疗资源的合理配置。安装Miniconda创建项目环境。
2025-05-22 09:33:55
945
原创 虚拟染色模型PSPStain ：通过蛋白质感知和原型一致学习策略，解决HE到IHC的虚拟染色问题
技术需求传统H&E染色仅能显示细胞形态，而免疫组化（IHC）染色可在分子水平特异性显示蛋白表达。病理语义挖掘不足：现有方法未直接利用蛋白表达水平（分子级语义），仅保留分级信息导致语义分散。空间语义错位：H&E与IHC图像因组织切片差异存在空间不一致，直接训练会导致语义错误分组或分离。现有方法局限早期基于GAN的方法缺乏病理约束，后续方法逐步引入分级、斑块级语义，但未解决分子级语义保留和空间错位问题。
2025-05-21 08:36:14
927
原创 从无标注的病理切片中自动提取临床相关的组织形态表型簇，探索其与患者预后、分子表型以及治疗反应的关联
传统结肠癌诊断依赖病理学家对苏木精-伊红（H&E）染色切片的显微评估，结合TNM分期等临床病理特征制定治疗策略，但面临老龄化人口带来的诊断负担及分子标记物检测的复杂性。数字病理技术通过扫描全玻片图像（WSIs）结合深度学习（DL）提升了诊断效率，但传统监督学习需大量人工标注。本研究旨在利用自监督学习（SSL）从无标注的H&E WSIs中自动提取临床相关的组织形态表型簇（HPCs），并探索其与患者预后、分子表型及治疗反应的关联。
2025-05-20 20:02:53
1419
原创 整合病理图像、临床信息和测序数据，构建癌症生存预测的多模态模型
本文介绍了MMsurv模型，一种多模态多实例深度学习框架，旨在解决癌症生存预测中多模态数据利用不足和模型可解释性差的问题。该模型整合了病理图像、临床信息和测序数据，通过ResNet50提取图像特征，利用词嵌入技术优化临床特征编码，并结合Cox分析筛选关键基因。研究设计了基于紧凑双线性池化与Transformer的多模态融合方法MMF-CBPT，通过双层多实例学习模型筛选与预后相关的特征图块，最终实现生存风险预测。实验在TCGA的6种癌症数据集上进行，结果显示MMsurv的平均C-index达0.7283，显
2025-05-19 09:25:16
777
原创 UN-SAM：一种高效且通用的细胞核分割模型，有望进一步推动自动化数字病理诊断的临床落地
本文提出了一种名为UN-SAM的框架，旨在解决数字病理学中细胞核分割面临的挑战，如组织类型多样、染色方案和成像条件差异等。传统方法依赖人工标注，且跨域泛化能力不足。UN-SAM通过三个核心模块实现全自动、跨域鲁棒的细胞核分割：多尺度自提示生成模块（SPGen）自动生成高质量掩码提示，替代人工标注；域自适应调优编码器（DT-Encoder）融合跨域共有特征与特定领域知识，增强特征判别力；域查询增强解码器（DQ-Decoder）利用可学习的域查询向量，提升跨域分割精度。实验结果表明，UN-SAM在多个数据集上显
2025-05-17 09:11:06
925
原创 基于疾病知识库引导的扩散模型，融合临床知识生成甲状腺癌罕见亚型的超声图像，提升模型对罕见肿瘤的诊断准确性
本文提出了一种文本引导的扩散模型——Tiger模型，旨在解决罕见甲状腺癌亚型超声诊断中数据稀缺和模型性能不足的问题。通过融合临床文本描述与图像生成，该模型显著提升了罕见亚型检测的准确性和鲁棒性，为医学AI在罕见病领域的应用提供了新方向。数据来源Tiger Model的训练数据来自医院和学术期刊的甲状腺超声图像及对应报告。医院数据提供临床实际病例信息，期刊数据则涵盖研究成果相关病例，丰富了数据多样性。训练依据基于疾病亚型特征差异，借助疾病知识（Prompt ）进行训练。
2025-05-15 11:34:35
792
原创 基于临床数据与病理切片构建多模态医学AI模型，实现腋窝淋巴结转移的术前精准预测
Multimodal AI model for preoperative prediction of axillary lymph node metastasis in breast cancer using whole slide images”这篇论文开发了一种多模态人工智能模型METACANS，结合原发性肿瘤活检全切片图像（WSIs）和临床病理特征预测乳腺癌腋窝淋巴结（ALN）转移，在多队列中进行验证，分析了模型性能、关键信息及临床病理特征的影响，讨论了模型的优势、局限性及未来研究方向。
2025-05-15 11:28:51
1126
原创 增强版HoVer-Net，提升病理图像细胞核分割与分类模型的鲁棒性
本文介绍了一种创新的深度学习框架，用于数字病理图像中细胞核的精准分析，对癌症诊断与预后具有重要意义。该框架针对现有方法受限于数据集变异性、易陷入局部最优的问题，采用两级集成建模策略，并对HoVer-Net架构进行改进，如更新编码器、优化解码器和实施模型正则化，旨在实现更准确且鲁棒的细胞核分析。基础模型基于HoVer-Net构建，运用不同的编码器骨干，输出多种用于细胞核检测、定位和分类的特征图，并通过模型正则化和复合多任务损失函数提升性能。模型集成系统包含模型内集成和模型间集成，充分融合不同模型和输入增强带来
2025-05-13 10:26:02
893
原创 借助病理AI基础模型处理病理切片，最终得到切片级聚合和分类结果的完整工作流程
本文详细介绍了全切片图像（WSI）处理的完整工作流程，涵盖从初始切片处理、补丁提取、使用基础模型生成特征嵌入，到最终切片级聚合和分类的各个阶段。流程首先通过预处理和补丁提取将十亿像素的全切片图像转化为可处理的补丁，随后使用多种基础模型进行特征提取，生成特征嵌入。最后，通过不同的聚合方法将补丁级别的特征组合成切片级别的预测，用于分类或预测任务。文章还提供了关键参数设置、模型选择建议以及实现注意事项，帮助读者更好地理解和应用这一流程。此外，作者还介绍了医学AI交流群和知识星球，为读者提供了进一步交流和学习的平台
2025-05-13 09:14:19
992
原创 基于HE染色的组织病理切片构建模型，预测宫颈癌共识分子亚型，并对肿瘤微环境进行分析
文章介绍了一种基于深度学习的端到端框架，用于从H&E染色组织学切片的数字化图像中预测HPV阳性宫颈鳞状细胞癌（CSCC）的共识分子亚型（CMS）。研究分析了三个国际CSCC队列，共计545例样本，通过跨队列实验验证，模型在预测CMS状态上表现出色，其数字CMS评分在疾病特异性生存和无病生存分析中具有显著的预后意义，与分子CMS分类的预测能力相当。此外，研究还揭示了C1和C2两种CMS亚型在组织学和免疫学特征上的差异，为理解肿瘤生物学行为和潜在治疗靶点提供了新见解。尽管研究存在一定局限性，如部分队列预
2025-05-12 11:02:04
1014
原创 结合影像组学和病理组学数据构建多模态模型，在新辅助化疗之前实现对患者病理完全缓解状态的预测
本文介绍了一项发表在Science Advances上的研究，旨在利用多模态集成全自动管道系统（MIFAPS）预测乳腺癌患者新辅助化疗（NAC）后的病理完全缓解（pCR）。研究整合了磁共振成像（MRI）、全切片图像（WSI）和临床数据，构建了MIFAPS模型。该模型在1004例患者的回顾性和前瞻性研究中表现出色，AUC值在外部测试集和前瞻性测试集中分别达到0.882和0.909，显著优于单模态模型。研究还通过模型可视化和生物学基础探索，发现高深度学习分数与免疫相关通路及肿瘤微环境中的抗肿瘤细胞有关。尽管研究
2025-05-12 08:36:17
918
原创 整合临床信息、影像组学以及组织学数据，解决癌症免疫治疗缺乏有效生物标志物的问题
MANIFEST: Multiomic Platform for Cancer Immunotherapy》由Kok Haw Jonathan Lim等人撰写。文章介绍了MANIFEST这一用于癌症免疫治疗的多组学平台，旨在解决免疫治疗中缺乏有效生物标志物的问题，通过多组学分析和人工智能技术，实现对患者的深度剖析，为个性化免疫治疗提供支持。设计MANIFEST是一项由英国生命科学办公室和医学研究委员会资助的观察性、非干预性临床研究。
2025-05-08 11:35:13
1110
原创 基于临床任务的计算病理学切片聚合方法研究
深度学习推动计算病理学发展，WSI常被分割为小瓦片分析，弱监督学习结合预训练视觉模型编码瓦片特征向量，自监督学习训练FMs成为趋势。但该领域依赖公共数据集评估下游任务性能，在临床应用中存在局限性，如TCGA数据集用于组织学分析时，受高肿瘤患病率、旧扫描技术和冰冻切片组织等因素影响，限制了组织学研究的准确性和泛化性。已有相关研究在评估AI算法性能时存在不足，如Laleh等人（2022）未充分关注切片级聚合阶段和FMs优势；Bilal等人（2023）研究受数据集特异性限制；
2025-05-08 11:21:25
1013
原创 想通过病理切片分析肿瘤微环境，增强模型可解释性，那么这个经典的细胞核分割与分类模型一定要会复现！
文章提出的HoVer-Net，用于多组织组织学图像中细胞核的同时分割与分类，有效解决了传统方法面临的难题，推动了医学图像分析领域的发展。
2025-04-28 13:05:37
1145
原创 依赖于切片级标签，结合信息瓶颈理论，对弱监督病理切片分类模型进行微调
Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification”由Honglin Li等人撰写。文章提出一种基于变分信息瓶颈的弱监督病理全切片图像分类任务特定微调框架，有效解决计算成本高和监督有限的问题，在多个数据集上提升了分类精度和泛化能力。研究背景。
2025-04-27 11:36:10
781
原创 无需细胞级标注，这个医学AI模型就能通过病理切片实现基因突变的预测
文章提出一种基于多实例学习（MIL）和集成技术的深度学习模型，可从急性髓系白血病（AML）的全切片图像（WSI）预测基因突变，为临床诊断提供支持。
2025-04-27 11:27:52
1172
原创 Medical Image Nnalysis发表对抗多实例学习框架，基于病理切片进行生存分析
AdvMIL: Adversarial multiple instance learning for the survival analysis on whole-slide images”提出了一种新的对抗多实例学习框架AdvMIL，用于基于全切片图像（WSI）的生存分析，能有效提升模型性能、利用无标记数据，并增强模型鲁棒性。作者类型姓名单位第一作者Pei Liu电子科技大学计算机科学与工程学院通讯作者Luping Ji电子科技大学计算机科学与工程学院。
2025-04-26 11:01:13
659
原创 Cancer Cell发表医学AI综述，聚焦于人工智能与转化癌症研究的交叉领域
New horizons at the interface of artificial intelligence and translational cancer research》由Josephine Yates和Eliezer M. Van Allen撰写。文章探讨了人工智能（AI）在癌症多组学分析和转化研究中的应用、挑战与机遇，指出AI有潜力推动精准肿瘤学发展，但在临床整合等方面仍面临难题。
2025-04-25 16:36:38
999
原创 Nature子刊聚焦于公开的医学AI基础模型，建立统一的评估标准
A clinical benchmark of public self-supervised pathology foundation models”发表于，通过构建临床基准数据集，系统评估了公共病理基础模型在多种临床相关任务上的性能，为模型训练和选择提供了重要参考。
2025-04-23 10:29:51
1223
原创 Medical Image Analysis发表医学AI模型，兼顾病理切片的上下文信息和高分辨率细节
文章提出HookNet，一种用于组织病理学全切片图像语义分割的多分辨率卷积神经网络模型，通过多分支结构有效结合上下文和细节信息，在乳腺癌和肺癌组织分割任务中展现优势，并提供代码和网络应用促进相关研究。__init__self,n_classes,depth=4,n_convs=2,):HookNet类继承自nn.Module，这是PyTorch中所有神经网络模块的基类。__init__方法是类的构造函数，用于初始化网络的各个组件。参数解释：n_classes：表示分割任务中的类别数量。
2025-04-19 17:00:00
828
原创 Nature子刊发表医学AI多模态融合亚型框架，能够融合处理放射组学、病理组学以及基因组学数据
这篇文章通过整合多模态数据，提出了一种新的胶质瘤亚型分类框架，为IDH野生型胶质瘤的精准治疗和预后判断提供了重要依据。
2025-04-18 15:18:05
1113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人