cosine_similarity和torch.cosine_similarity速度差异（人间奇事）

最新推荐文章于 2025-04-18 18:00:32 发布
最新推荐文章于 2025-04-18 18:00:32 发布
阅读量2.6k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40485502/article/details/111247598
博主在进行聚类计算时，先使用了sklearn的cosine_similarity在CPU上进行，然后改用PyTorch的cosine_similarity并利用GPU（V100）进行计算。结果显示，GPU计算速度显著快于CPU，GPU版本运行时间为1.8s/it，而CPU版本为3s/it。即使考虑到内存限制设置的batch=500，GPU的加速效果依然非常突出。这表明对于大规模计算任务，利用GPU可以大幅提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 最近聚簇计算相似度，使用了下面两种方法。
    • 一开始用的sklearn，因为没有gpu
    • 后来有了gpu就换上了pytorch
      • gpu是V100
    • batch=500(说是batch，只是为了预防超出内存，做的限制。
    • 跑的是个循环
    • 速度大概是这样子的：
      • torch的cosine：cpu 3s/it,gpu v100 1.8s/it
      • sklear:cpu 50it/s
  • 总之这个速度差就很离谱，有谁能做个解释吗？
from sklearn.metrics.pairwise import cosine_similarity
emb_sim = torch.cosine_similarity(torch.tensor([update_text['embed']],device=self.device), torch.tensor(cluster_embed,device=self.device))#返回尺寸[batch,]
和
emb_sim = cosine_similarity(np.array([update_text['embed']]), np.array(cluster_embed))#返回[1,batch]
Pytorch计算余弦相似度距离——torch.nn.CosineSimilarity函数中的dim参数使用方法
fx714848657的博客
10-18 1万+
Pytorch计算余弦相似度距离——torch.nn.CosineSimilarity函数中的dim参数使用方法
【Tip】计算余弦相似度：直接np.dot公式和用sklearn的cosine_similarity速度比较
xhanz的博客
10-09 2160
计算余弦相似度 两种方法都只需要一行代码 sklearn的用时更长一些 import time import numpy as np from sklearn.metrics.pairwise import cosine_similarity v_length=1000 time1=np.empty(v_length) time2=np.empty(v_length) for i in range...
cosineSimilarity
07-13
余弦相似度 向量之间相似性的简单度量。 它将加速度计数据转换为幅度向量，并找到幅度的余弦相似度。
余弦相似度算法(Cosine Similarity)
最新发布
小光的博客
04-18 1173
余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。余弦相似度关注方向而非距离，当数据的大小不重要而方向重要时，余弦相似度比欧氏距离更合适。
pytorch一行实现：计算同一tensor矩阵内每行之间的余弦相似度
weixin_43490422的博客
04-09 9777
文章目录0 输入数据1 余弦相似度（Cosine Similarity）2 torch.cosine_similarity3 问题4 分析与解决4.1 答案 0 输入数据 import torch # 设置随机数种子，以保证结果可重现 torch.manual_seed(0) a = torch.randn(4, 3) tensor([[ 1.5410, -0.2934, -2.1788], [ 0.5684, -1.0845, -1.3986], [ 0.4033, 0
torch F.cosine_similarity使用
orangerfun的博客
03-30 1万+
看名字就知道是算余弦相似度，但是有个烦人的参数dim，本文主要解决如下几个问题 dim 参数到底有什么作用？如何设置dim参数 两个矩阵使用该函数算余弦相似度到底是按列向量来算还是按行向量来算？ 如果想要算矩阵中每个行向量两两之间的相似度，如何计算？ 1. dim的作用 实验一： dim=0 import torch.nn.functional as F import torch import math a = torch.tensor([[1, 2], [3, 4]], dtype=torch.
torch.nn.functional.cosine_similarity使用详解
ljp1919的专栏
10-07 2万+
概述 根据官网文档的描述，其中 dim表示沿着对应的维度计算余弦相似。那么怎么理解呢？ 首先，先介绍下所谓的dim: a = torch.tensor([[ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ], dtype=torch.float) print(a.shape) """ [ [ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ] """ 假设
torch.nn.functional.cosine_similarity计算相似度
星星超幸运的博客
06-21 804
torch余弦相似度计算
这段代码有什么错误def forward(self,x): num_nodes = x.size(1) # sub_graph size batch_size = x.size(0) W = torch.cat([self.W] * batch_size, dim=0) representation = torch.matmul(x, W) r_sum = torch.sum(representation, dim=-1, keepdim=False) b = torch.zeros([batch_size, num_nodes]) b = Variable(b) one = torch.ones_like(r_sum) zero = torch.zeros_like(r_sum) label = torch.clone(r_sum) label = torch.where(label == 0, one, zero) b.data.masked_fill_(label.bool(), -float('inf')) num_iterations = 3 for i in range(num_iterations): c = torch.nn.functional.softmax(b, dim=-1) weight_coeff = c.unsqueeze(dim=1) representation_global = torch.matmul(weight_coeff, representation) representation_global_all = torch.cat([representation_global] * num_nodes, dim=1) representation_similarity = torch.nn.functional.cosine_similarity(representation, representation_global_all, dim=-1) representation_similarity.data.masked_fill_(label.bool(), -float('inf')) b = representation_similarity return representation_global.squeeze(dim=1)
06-08
representation_similarity.data.masked_fill_(label.bool(), -float('inf')) b = torch.nn.functional.softmax(representation_similarity, dim=-1) # 进行softmax操作 ``` 这样修改后，该段代码的功能应该能够...
torch.cosine_similarity
03-16
torch.cosine_similarity 是 PyTorch 中的一个函数，用于计算两个张量之间的余弦相似度。这个函数接受两个参数，分别为两个张量，并返回它们之间的余弦相似度值，范围在 -1 到 1 之间。
F.cosine_similarity是将两个tensor不同通道的相似度加起来了吗
07-11
不，F.cosine_similarity函数并不是将两个tensor不同通道的相似度加起来的。F.cosine_similarity函数是用来计算两个tensor之间的余弦相似度，它会返回一个新的tensor，其中每个元素表示对应位置的两个向量之间的余弦...
Pytorch torch.norm, torch.cosine_similarity 对向量或者张量计算Cosine相似度, 欧式距离
热门推荐
dongfangxiaozi_的专栏
06-27 4万+
torch.cosine_similarity 可以对两个向量或者张量计算相似度 >>> input1 = torch.randn(100, 128) >>> input2 = torch.randn(100, 128) >>> output = torch.cosine_similarity(input1, input2, dim=1) p...
torch.cosine_similarity, 广播，一个矩阵的每行和另一个tensor计算相似度
Answer3664的博客
08-20 5203
1. torch.cosine_similarity 对应两个向量计算相似度 a = torch.randn(100,128) b = torch.randn(100,128) torch.cosine_similarity(a, b, dim=-1).shape >>> torch.Size([100]) 2. torch.cosine_similarity 对任意两个向量之间两两计算相似度 也就是希望得到一个 [N, N]的一个矩阵 方法一：循环 def get_att
torch F.cosine_similarity()使用
shuaiqidexiaojiejie的博客
02-12 3065
torch F.cosine_similarity()使用
Pytorch关于高维tensor的dim上操作的理解--以cosine_similarity的dim参数为例
QingerBig的博客
01-07 3786
问题的引出 关于pytorch中dim的描述个人总是弄的不是很清楚，好多地方存在着疑问，这次在实验过程中需要比较两个高维tensor的相似度，由于需要确定在哪一维进行比较，故去测试了pytorch中关于tensor维度的一些现象。 dim 关于dim许多博客都有比我更加专业的解释，dim具体的解释也不是本文的重点，这里盗用其他博客里的一张图，这张图也是我认为对dim比较好的直观的解释（原文链接），本文的重点在于对高维tensor维度上操作，即不同的操作在不同的维度上进行会有怎样的不同 Cosine_sim
torch.nn.CosineSimilarity() 三维张量
qq_45189662的博客
05-23 3669
对于三维张量： import torch a = torch.tensor([[[-1., 0]], [[1., 0]]]) b = torch.tensor([[[1., 1.], [2., 1.]]]) print(a.shape) print(b.shape) x = torch.nn.CosineSimilarity(-1) result = x(a, b) print(result) 输出： torch.Size([2, 1, 2]) # 张量a的形状 torch.Size([1,
衡量两个向量相似度的方法：余弦相似度、pytorch 求余弦相似度：torch.nn.CosineSimilarity(dim=1, eps=1e-08)
m0_46378271的博客
05-23 3359
余弦相似度\color{red}{余弦相似度}余弦相似度 在NLP的任务里，会对生成两个词向量进行相似度的计算，常常采用余弦相似度公式计算。 余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 我们知道，对于两个向量，如果他们之间的夹角越小，那么我们认为这两个向量是越相似的。余弦相似性就是利用了这个理论思想。它通过计算两个向量的夹角的余弦值来衡量向量之间的相似度值。 公式如下： 参考：衡量两个向量相似
pytorch 深度学习之余弦相似度
算法探索之路
11-15 2979
pytorch实现余弦相似度
PyTorch中余弦相似度计算及应用
qq_38100666的博客
11-11 1454
余弦相似度是衡量两个向量之间相似程度的一种常用方法，特别在机器学习领域中，它经常被用于比较两个向量之间的相似性。在PyTorch中，计算余弦相似度非常简便，本文将介绍如何在PyTorch中使用余弦相似度
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值