在Hadoop上运行TensorFlow的环境变量配置

最新推荐文章于 2024-03-03 20:32:07 发布

chutongz

最新推荐文章于 2024-03-03 20:32:07 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：原创环境配置文章标签： Hadoop Tensorflow 分布式部署集群环境配置

本文链接：https://blog.csdn.net/weixin_41864878/article/details/88674027

本文详细介绍了如何在Hadoop上配置环境变量以运行TensorFlow。首先确保Hadoop及相关依赖安装正确，然后在.bashrc中添加环境变量并验证Hadoop配置。当能成功导入TensorFlow但报HDFS连接错误时，说明TensorFlow未正确配置。通过进一步调整环境，包括可能需要重新source ~/.bashrc以解决CUDA库找不到的问题，最终能够成功运行包含TensorFlow的.py文件。对于后台任务，需将指令写入.sh脚本并通过nohup执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先确保下载了Hadoop，jre等等等等前面所有的准备工序（因为我是有打包好的工具包，所以前面的下载之类的我都没有操心，如有需要可以百度，这里主要讲环境配置）

第一步：

~/.bashrc中添加环境变量：

###我这里注释的两行按逻辑来说直接加到文件里然后source一下就行
###可是我加入后会导致import tensorflow时找不到cuda库，所以在这里注释掉
###大家可以试试先用最简单的source，能一次成功是最好的

#export LD_LIBRARY_PATH=/your/path/to/hadoop/lib/native${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export JAVA_HOME=/your/path/to/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#export LD_LIBRARY_PATH=/your/path/to/jdk1.8.0_171/jre/lib/amd64/server${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export HADOOP_HOME=/your/path/to/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH

source ~/.bashrc

在终端试一下Hadoop fs -ls能够正常运行就证明hadoop配置正确
然后运行自己的.py文件
如果能import tensorflow 但是报错hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:那就说明Tensorflow没有和Hadoop配置好，如果没有报错并能够顺利读取ha