本文探讨了Pytorch中使用DataLoader进行多线程加载数据对GPU性能的影响。通过设置不同的num_workers参数，观察到在加载agnewsdataset时，尽管加载时间有所减少，但对GPU处理时间的改善有限，表明在GPU受限的情况下，优化主要在于数据预处理和流水线设计。同时，文章提及在多GPU环境中，可以考虑并行处理数据以提高效率。
Pytorch Load Dataset 多线程加载读取数据
单线程读取数据时
以agnews dataset为例，num_worker=1时读取时间如下：
Load Test Data Spends 12.183895587921143 seconds
Load Test Data Spends 200.42685055732727 seconds
DataLoader(dataset, num_workers=2,collate_fn=collate_fn)时
Load Test Data Spends 11.577017307281494 seconds
Load Train Data Spends 199.58622908592224 seconds
DataLoader(dataset, num_workers=4,collate_fn=collate_fn)时
Load Test Data Spends 11.68491816520691 seconds
Load Train Data Spends 183.27479600906372 seconds
DataLoader(dataset, num_workers=8,collate_fn=collate_fn)时
Load Test Data Spends 11.205335140228271 seconds
Load Train Data Spends 183.1354115009308 seconds
此时限制为GPU，CPU加载的矩阵→\rightarrow→GPU流水线。流水线处理时间是定死的。
GPU多卡：
-
真2014
多个GPU一起处理2014条数据。
-
假1024
多块GPU按块各处理总数据的一部分，最后汇总算loss平均值
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
