ubuntu中idea创建spark项目步骤

1.前置条件

• ubuntu中已经安装idea,jdk,scala,spark

2.打开idea，新建，选择Maven项目

3.在IDEA中，File-Setting-Plugin，下载Scala插件

4.File-project structure，导入插件

4.1在全局库中，选择导入刚才的scala插件

4.2在项目库中，导入spark安装目录jar包所在路径

5.在原项目的main目录下新建scala文件夹，并右击，将其设置为Source Root，在scala文件夹下，右击新建scala型Object文件WordCount。

6.在pom.xml中添加如下内容：

最后pom.xml文件内容为：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>untitled</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <spark.version>2.4.8</spark.version>
        <scala.version>2.11</scala.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <repositories>
        <repository>
            <id>string</id>
            <url>https://maven.aliyun.com/repository/spring</url>
        </repository>
    </repositories>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>
</project>

然后再pom.xml的右上角点击Load Maven Change,自动下载各个依赖包文件。

注意scala版本和spark版本可以在cmd窗口输入spark-shell进行查看。

7.此时在WordCount.scala中输入测试代码，及导入spark包不会报错。

参考自：https://www.hangge.com/blog/cache/detail_3313.html
有很多地方需要pom文件导入maven依赖，以给pom文件添加一个spark-core的依赖为例：

在使用IDEA过程中，有很多地方需要pom文件导入maven依赖，以给pom文件添加一个spark-core的依赖为例：

1.找并进入网站：Maven Repository: Search/Browse/Explore (mvnrepository.com)

2.在搜索框输入：spark-core，点击搜索，选择Apache版本的

3.找到自己想要的版本（我选的3.1.1），点击version的小方框

4.进入界面之后，复制下面maven方框的命令

<dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-core_2.12</artifactId>
          <version>3.1.1</version>
</dependency>

之前如果没有添加过依赖包，字段“org.apache.spark”、“spark-core_2.12”和“3.1.1”是红色的，说明IDEA里面没有该源码包，此时需要下载源码，点开IDEA右侧maven视图，找到下面带有红色波浪线的地方（下图没有是因为我下载过了），然后点击下载符号，选择“Download Sources”下载即可。（Download Sources是下载源码，Download Documentation是下载文档，一般选择下载源码）

其他依赖包、源码按上述操作导入下载即可。

参考自：https://blog.csdn.net/weixin_62535174/article/details/121474333?spm=1001.2014.3001.5501