大模型评估基准（Benchmark）概述

### 医疗领域大规模预训练模型性能基准对比 #### 性能指标概述 在医疗计算任务中，研究主要集中在评估大型语言模型（LLMs）的医学计算能力。这包括了来自55种不同医学计算任务的手动审查实例共1000个案例[^2]。 #### 查询效率与成本分析 实验表明，在处理查询请求时，TO-Router展示了更好的综合表现，能够在保持较低的成本的同时减少查询执行的时间，并维持较高的模型性能水平[^1]。 #### 图像分类任务的具体实现细节 针对图像分类任务，特别是涉及病理图像的数据集，PLIP图像编码器被用来同端到端深度学习模型ViT-B/32作比较。后者是在ImageNet数据集上预先训练过的。两个模型均采用批量大小为128的方式运行，并利用带有解耦权重衰减机制的Adam优化算法来进行微调操作；其中权重衰减值设定为0.1，整个过程持续十轮迭代。为了找到最优的学习速率，研究人员从一系列候选值{1×10^-6, 1×10^-5, ..., 1×10^-2}里挑选出了能在验证集中取得最高加权F1得分的那个数值。值得注意的是，该验证集是从原训练样本总量的30%部分随机抽取出来的。最终选定的最佳配置下，这些模型接受了全部可得训练资料的再培训，并于独立设立的测试集合上完成了对其泛化能力的评测工作——比如对于Kather数据集而言，则是以其初始版本中的10%作为检验对象[^3]。 ```python import torch.optim as optim # 定义优化器及其参数 optimizer = optim.Adam( params=model.parameters(), lr=best_learning_rate, weight_decay=0.1 ) for epoch in range(epochs): train(model, optimizer, data_loader) ```