敲码的汉子

对于spark源码和spark执行过程有兴趣的同学，可以搭建一个spark的源码调试环境，来调试远程spark源码执行过程。由于spark启动都是通过脚本设置一些环境变量执行指定类来启动的，所以在ide里面不能直接调试，需要预先启动一个spark执行代码，然后通过本地的代码进行远程调试。1.环境idea 2017maven 3.3（可以将maven的镜像地址设置成国内的，不然编译很久或编译不成功

sparksql读写elasticsearch sparksql将elasticsearch数据转换成RDD进行计算，测试下sparksql对elasticsearch的读和写的操作。1环境1.1软件环境hadoop 2.7.3spark 2.2elasticsearch 5.6.4jdk 1.81.2机器环境 节点 配置 组件 角色...

sparksql大数据量下测试性能2.数据环境从网上扒过来的数据，某些网站泄漏的帐号信息，数据重复冗余很少。处理了一下，在原基础上增大了数据量。 准备的数据量大，是保证结果误差更小，也检测下sparksql数据处理能力。 9个字段，128亿行，纯文本大小1.2T。3.textfile表textfile表是默认的存储文件

ThriftServerThriftServer和和hiveserver2类似，提供了jdbc/odbc的接口，spark-sql以这种模式启动后可以以服务的形式提供SQL查询。 客户端可以用jdbc直接访问spark-sql，用sql进行交互。启动安装配置接前面链接 http://blog.csdn.net/dante_003/article/details/78652534

spark-sqlspark-sql是spark+hive的结合，和hive on spark非常相似，但实现不一样。spark-sql是由spark官方维护，在hive的基础上修改了sql解析任务和执行任务的部分。安装环境hadoop环境（自行安装）spark2.2安装安装很简单，spark开箱即用。从官网上面下载spark后，解压到指定目录，配置好SPARK_HOME环境变量就可以了。只需

spark快速入门的hellowold