RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`

在我们实验室的服务器大概率是环境变量的问题，因为不同的虚拟环境设置以及最开始安装cuda和cudnn的时候会有设置环境变量的操作，跑的时候就会出错。

有很多同学在报这个错的时候是是在模型训练阶段，但是我遇到这个问题是在已经训练好，要把pt文件转换为engine，不存在batchsize过大爆显存的情况。最后打算查看是不是torch和torchvision的问题，果然：然然后网上一查，jetpack5.0.2的cuda应该是11.4不是11.6，这个吊域控莫名其妙有两个cuda版本。

后将cuda改为‘cpu’模式，发现报错为index溢出，定位错误在tokenizer，经检查发现是BERT和XLM的tokenizer中的pad_token_id是不同的，前者为0，后者为1，改正后，即可运行。（2）tokenizer和language model不匹配；经检查代码，发现匹配无误；（4）cuda版本问题；由于是改代码，前面代码未出现该问题，因此不考虑该假设。（3）维度存在不一致；经检查代码，类别数、隐向量和词向量维度都是正确的；（1）CUDA内存溢出；

【代码】RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`问题。

另：我自己本次error出现的情况是，公用GPU上另一个人占了99%的内存，我的内存一开始够但到了那个模块就不够了，出现了这个错误，没出现out of memory错误。其实对于这种cuda error，由于torch本身是把tensor送进去黑盒，里面发生什么事情是看不见的。但是在cpu的话，错误的定位就范围相对更小。所以在trouble shooting的时候可以。，再进行cuda的跑，（如果效率上说得过去）可以有效发现问题所在。我切换了cpu后，错误提示就比GPU清晰多了。

RuntimeError: [enforce fail at …\c10\core\CPUAllocator.cpp:75] data. DefaultCPUAllocator: not enough memory: you tried to allocate 50331648 bytes. Buy new RAM! pytorch:RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling cublasCreate(handle) b

错误信息中的“Assertion `t >= 0 && t < n_classes` failed.”这句提示显示错误可能和number of classes有关。我在跑cifar10类别时，创建网络部分把num_classes设置成了6。这个报错看似是CUDA的问题，其实并不是。检查代码发现，我的代码设置的分类类别错了。