qq_20466211的博客

(1)windows中安装任意版本的sbt(2)配置两个文件注意sbtconfig.txt中的参数，IDEA中配置需要使用repository.properties sbtconfig.txt [repositories] local huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/ maven-central: https://repo1.maven.org/maven2/

(1)下载及安装下载地址https://www.scala-sbt.org/download.html下载包为sbt-1.3.13.zip解压到D盘即可D:\sbt(2)配置环境变量path中添加D:\sbt\bin(3)配置D:\sbt\conf\sbtconfig.txt-Dsbt.log.format=true-Dsbt.boot.directory=D:/sbt/.sbt/boot-Dsbt.ivy.home=D:/sbt/.ivy2-Dsbt.global.base=D:/sb

1 Collection集合Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的集合和不可变的集合。(1)可变集合可以在适当的地方被更新或扩展，这意味着可以修改，添加，移除一个集合的元素。(2)不可变集合类，相比之下，永远不会改变。不过，仍然可以模拟添加，移除或更新操作，但这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。## 1.1 Scala List(列表)List的特征是其元素以线性方式存储，集合中可以存放重复对象。Scala

scala处理json可以调用JAVA常用json处理库来处理json。使用fastjson和json-lib来处理。在spark-steaming中,使用fast-json更加稳定,json-lib经常出现莫名问题,而且fastjson的解析速度更快。1 scala中的json字符串格式化{ "name": "lucy", "age": 18, "body": { "high": "175", "weight": "90" }}删除空格{"name":"lu

1 IDEA输入命令行参数运行的方法(1)点击Edit Configurations(2)弹出的窗口中Program arguments栏输入参数注意：多个参数用空格分开。(3)点击Run选项即可。object yourtest { def main(args: Array[String]) { print("第一个命令行参数:"+args(0)+"\n") print("第二个命令行参数:"+args(1)) }}...

#start-master.sh#start-slaves.sh访问地址http://10.23.241.202:8080/1 本地IntellIJ IDEA运行yourtest.scalaimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject yourtest { def main(args:Array[String]){ val conf=new SparkConf() co

(1)build.sbtlibraryDependencies += “redis.clients” % “jedis” % “2.7.1”(2)代码import org.apache.commons.pool2.impl.GenericObjectPoolConfigimport redis.clients.jedis.{Jedis, JedisPool, Response}import redis.clients.util.Poolobject RedisUtil {private[th

(1)通过sbt安装依赖libraryDependencies += “org.apache.httpcomponents” % “httpclient” % “4.5.3”libraryDependencies += “org.apache.httpcomponents” % “httpcore” % “4.4.9”libraryDependencies += “com.alibaba” % “fastjson” % “1.2.32”(2)基于Flask的服务端from flask import

1 spark对接kafkaimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010._import org.apache.spark.streaming.{Seconds, StreamingContext}object yourtest { def main(args: Array[String]) { try { //spark配置信息 val sparkconf

编程规范

为什么都2022年了还有新的语言想来取代C？如果，编程语言界是一个江湖，那么C语言就像一个稳坐武林盟主之位多年的强者，历年来微笑着接受无数年轻语言不断向自己发出夺位挑战，直到步入第50个年头。2022年4月25日，Drew DeVault对外声明新的编程语言Hare(野兔)正式发布。作者表示，Hare与C相似度很高，C可以做的事情Hare也能做到，并且实现起来更简单。正是因为如此，Hare就像奔着C而来年轻的挑战者，说：我是来取代你的！不知道Hare是否真的能取代C，只知道这么些年以来喊着这种口号的前

Yaml：基本语法使用YAML 入门教程YAML在线编辑链接1 简介YAML 的意思其实是：“Yet Another Markup Language”(仍是一种标记语言)。YAML的语法和其他高级语言类似，并且可以简单表达清单、散列表，标量等数据形态。它使用空白符号缩进和大量依赖外观的特色，特别适合用来表达或编辑数据结构、各种配置文件、倾印调试内容、文件大纲(例如：许多电子邮件标题格式和YAML非常接近)。YAML的配置文件后缀为.yml，如：runoob.yml。1.1 基本语法(1)大

1 case语句在shell中case语句一般格式如下：case "变量值" in值1) 指令 ... ;;值2) 指令... ;;*) 指令 ... ;;esac举例如下val=$1case ${val} in1) echo "1" ;;2) echo "2" ;;*) echo "$val for uncertain" ;;esac2 if语句2.1 单分支if 判断条件；then statement1 state

1 GitLab网页端根据安装好的GitLab提供的网页环境网址http://192.168.103.216:8081。注册用户pipibing/bigdata123。或者超级管理员 root/bigdata123。首页，点击GitLab的logo，可以从任何界面回到本页。1.1 用户设置点击Edit Profile1.2 术语collapse sidebar 隐藏侧边栏customize 订制，订做preference 爱好，偏爱snippet 小片，片段profile 概述

参考Centos7下搭建Gitlab参考清华大学开源软件镜像站参考GitLab官方文档参考centos7安装gitLab1 GitLab简介GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。GitLab由乌克兰程序员DmitriyZaporozhets和ValerySizov开发，它由Ruby写成。后来，一些部分用Go语言重写，现今并在国内外大中型互联网公司广泛使用。GitLab是一个基于git实现的在线代码仓库托管软件，一般用于在企

1 GitHub是什么参考GitHub官网归属公司：微软公司GitHub是一个面向开源及私有软件项目的托管平台，因为只支持git作为唯一的版本库格式进行托管，故名GitHub。GitHub于2008年4月10日正式上线，除了Git代码仓库托管及基本的 Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等功能。目前，其注册用户已经超过350万，托管版本数量也是非常之多，其中不乏知名开源项目Spring、MyBatis、React、Vue等

Git、GitHub、GitLab

参考华为轻量级操作系统 LiteOS1 谷歌dev blog原文谷歌dev blog原文：Android App Bundle: Google Play uses the app bundle to generate and optimize APKs for distribution for different device configurations and languages. This makes your app smaller (on average, 15% smaller than

1 概念(1)指令集决定了处理器的架构，因为处理器架构就是用硬件电路实现指令集。但是具体用什么样的处理器架构，设计怎样的硬件电路，每个人设计的都可以不一样。Instruction Set Architecture指令集架构ISA：它是CPU的一个特性，决定CPU的解码电路和执行单元，但并不存储在CPU内部。是微结构提供给上层一个接口，类似于程序员编程时用到的api。某CPU能执行哪个指令集的所有指令就称为兼容此指令集。(2)处理器架构就是处理器的硬件架构，称为微架构。是一堆硬件电路，去实现指令集所规

1 Go安装(1)安装Go安装路径D:\Go安装完成后自动配置了环境变量D:\Go\binCMD>go version查看版本(2)为Go项目创建目录结构在任意盘里新建文件夹GoWorks，里面再新建三个文件夹， bin、src、pkg。然后把GoWorks添加到环境变量中去。配置GOPATH = D:\GoWorks2 GolandGoland 是由 JetBrains 公司开发的一个新的商业 IDE，旨在为 Go 开发者提供的一个符合人体工程学的新的商业 IDE。Goland 整