python读取hive 到 pandas

Thomas2143

于 2021-11-09 23:50:36 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：总结文章标签： hive python

本文链接：https://blog.csdn.net/qq_35515661/article/details/121239544

总结专栏收录该内容

792 篇文章 ¥99.90 ¥299.90

订阅专栏

本文介绍如何使用Python连接Hive数据库，并将Hive中的数据读取到Pandas DataFrame，以便进行进一步的数据处理和分析。通过示例代码展示具体实现步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码

from pyhive import hive
# 脚本目录 用python从hive表中读取表ods_tx3 中列名为 'number' 的列的数据,获取唯一值 即 number的集合.

'''
pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive
'''

'''
报错: thrift.transport.TTransport.TTransportException: TSocket read 0 bytes
    解决方法:hive-site.xml中添加下面属性 然后重启hive服务:
        <property>
            <name>hive.server2.authentication</name>
            <value>NOSASL</value>
        </property>

检查hiveserver2 的 10000端口是否已经启动: netstat -anp|grep 10000

conda提示无法安装sasl:
    conda update --force conda 然后 conda install sasl 重试
    如果提示c++什么没装,自己安装一下他提供链接的软件即可.懵逼...
'''
conn = hive.Connection(

了解本专栏