- 博客(87)
- 收藏
- 关注
RSS订阅原创 Mysql数据库——DML操作
DML英文全称是Data Manipulation Language(数据操作语言)，用来对数据库中表的数据记录进 行增、删、改操作。
2024-05-22 01:39:37
701
原创 Mysql数据库——DDL的操作
在上述的建表语句中，我们在指定字段的数据类型时，用到了int ，varchar，那么在MySQL中除了 以上的数据类型，还有哪些常见的数据类型呢？可选项 IF EXISTS 代表，只有表名存在时才会删除该表，表名不存在，则不执行删除操作(如果不 加该参数项，删除一张不存在的表，执行将会报错)。通过这条指令，主要是用来查看建表语句的，而有部分参数我们在创建表的时候，并未指定也会查询 到，因为这部分是数据库的默认值，如：存储引擎、字符集等。字符串，指定长度多长，就占用多少个字符，和 字段值的长度无关。
2024-05-22 00:54:35
1261
原创 SparkSQL数据源
save()方法支持设置保存模式，使用可用于指定将Dataset保存到数据源的预期行为，指定如何处理现有数据（例如，执行时设置类型为Overwrite，则数据将在写出新数据之前被删除。）但需要注意的这些保存模式不使用任何锁定并且不是原子的。SaveModeScala/Java含义（默认）将Dataset保存到数据源时，如果数据已存在，则会引发异常。将Dataset保存到数据源时，如果数据/表已存在，则Dataset的内容应附加到现有数据。覆盖模式意味着在将Dataset。
2024-05-08 14:34:52
1394
原创 Flume进阶
***/// 增加代码开始// 增加代码结束// 增加代码开始// 增加代码结束@Override@Override@Overrideelsegroup++) {break;@Override= null) {// 增加代码开始// 增加代码结束@Override// 增加代码开始!
2024-05-08 14:31:48
2378
原创 Flume入门
1、一个agent包含哪些组件？ACD2、每个组件必须要配置以下哪些内容ABDA、名称B、类型C、拦截器D、属性集3、以下哪些是flume的特点：BA、可靠性B、可恢复性C、高可用性D、唯一性。
2024-05-07 21:55:05
1383
原创 头歌：Spark GraphX—寻找社交媒体中的“影响力用户”
Spark GraphX中提供了方便开发者的基于谷歌Pregel API的迭代算法，因此可以用Pregel的计算框架来处理Spark上的图数据。GraphX的Pregel API提供了一个简明的函数式算法设计，用它可以在图中方便的迭代计算，如最短路径、关键路径、n度关系等，也可以通过对一些内部数据集的缓存和释放缓存操作来提升性能。近年来互联网技术的发展带来了在线社交网络的繁荣,微博、微信、Twitter等社交平台已经走进人们生活的方方面面。
2024-05-01 18:47:11
3060
原创 头歌：SparkSQL简单使用
Spark SQL是用来操作结构化和半结构化数据的接口。当每条存储记录共用已知的字段集合，数据符合此条件时，Spark SQL就会使得针对这些数据的读取和查询变得更加简单高效。具体来说，Spark SQL提供了以下三大功能：(1) Spark SQL可以从各种结构化数据源（例如JSON、Parquet等）中读取数据。
2024-05-01 18:46:44
3705
2
原创 头歌：Spark Streaming
套接字流是通过监听Socket端口接收的数据，相当于Socket之间的通信，任何用户在用Socket（套接字）通信之前，首先要先申请一个Socket号，Socket号相当于该用户的电话号码。同时要知道对方的Socket，相当于对方也有一个电话号码。然后向对方拨号呼叫，相当于发出连接请求。对方假如在场并空闲，相当于通信的另一主机开机且可以接受连接请求，拿起电话话筒，双方就可以正式通话，相当于连接成功。Spark Streaming通过监听套接字端口获取流数据信息并处理。
2024-04-30 10:38:52
3385
3
原创 头歌：Spark案例剖析 - 谷歌网页排名引擎PageRank实战
下面我们重点介绍Spark SQL的初始化，数据库的使用，外部数据的导入，从而将网页数据导入数据库中方便之后处理。Spark SQL是Spark自带的数据库，本关你将应用Spark SQL的数据导入工具实现文本数据的导入。总的来说，就是预先给一个网页PR值（此处用PR代替PageRank值），由于PR的现实意义是一个网页被访问的概率，一般为1/N,网页的总数为N,并且所有的网页PR总值为1。如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高。
2024-04-30 00:20:59
2721
3
原创 头歌：RDD的创建 - Python
只有对于于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。此方法需要一个 URI的文件（本地路径的机器上，或一个hdfs://，s3a:// 等 URI），并读取其作为行的集合。说明："local" 是指让Spark程序本地运行，"Simple App" 是指Spark程序的名称，这个名称可以任意（为了直观明了的查看，最好设置有意义的名称）。简单的来说RDD就是一个集合，一个将集合中数据存储在不同机器上的集合。
2024-04-30 00:20:09
1931
原创 头歌：RDD的创建 -Scala
Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。使用 collect().foreach(println) 方法将排序后的结果收集到驱动程序中，并遍历打印每位老师的姓名和出现次数。使用 reduceByKey(_ + _) 对 RDD 中的相同键（学生姓名）的值（成绩）进行聚合，得到每个学生的总成绩。使用 reduceByKey 函数对 RDD 中的相同老师名称的记录进行聚合，得到每位老师的总出现次数。处补充代码，按每位老师出现的次数降序，输出老师姓名和出现次数。
2024-04-29 00:58:55
3352
2
原创 头歌：RDD的创建 -Java
Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。(1)mapToPair：此函数会对一个RDD中的每个元素调用f函数，其中原来RDD中的每一个元素都是T类型的，调用f函数后会进行一定的操作把每个元素都转换成一个<K2,V2>类型的对象。collect() ：以数组的形式返回RDD中的所有元素，收集分布在各个worker的数据到driver节点。(2) reduceByKey() ：对元素为RDD[K,V]对的RDD中Key相同的元素的Value进行聚合。
2024-04-29 00:48:59
1155
原创 头歌：Spark任务提交
这段脚本首先将 project.jar 复制到 /root 目录下，然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间，使用 spark-submit 命令提交 Spark 程序，其中 --master local 指定了本地模式，--class Student 指定了主类为 Student，最后指定了 jar 包的路径为 /root/project.jar。为了完成本关任务，你需要掌握：1.了解spark-submit的参数。第1关：spark-submit提交。
2024-04-29 00:35:34
2747
2
原创 头歌：Spark的安装与使用
第1关：Scala语言开发环境的部署相关知识Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为你手上一件必不可少的工具。而我们将要学习的大数据框架Spark底层是使用Scala开发的，使用scala写出的代码长度是使用java写出的代码长度的1/10左右，代码实现更加简练。所以安装与配置Scala的环境是我们在开始学习Spark之前要完成的准备工作。
2024-04-29 00:15:54
7987
9
原创 十、项目开发总结报告（软件工程）
【如平均每人每月生产的源程序行数、文档的字数等。【说明项目来源、委托单位、开发单位及主管部门。【列出报告用到的专门术语的定义和缩写词的原文。【阐明编写总结报告的目的，指明读者对象。【给出计划进度与实际进度的对比。【按人员的不同层次分别计时。【按所用计算机机型分别计时。
2024-02-09 21:30:30
1324
原创 九、开发进度月报
【分类列出本月经费支出项目，给出支出总额，并与计划比较。．工作遇到的问题及采取的对策。【按不同层次人员分别计时。【按所用计算机型分别计时。．报告时间及所处的开发阶段。
2024-02-04 20:48:52
899
原创 八、测试分析报告（软件工程）
【说明测试所揭露的软件缺陷和不足，以及可能给软件运行带来的影响。【列出测试分析报告中所用到的专门术语的定义和缩写词的原文。【给出测试机构名称、负责人和参与测试人员名单。【阐明编写测试分析报告的目的，指明读者对象。【说明项目的来源、委托单位及主管部门。【列出每一测试项目的名称、内容和目的。【按顺序给出每一项需求测试的结论。【经过测试所表明的软件能力。【提出为弥补上述缺陷的建议。
2024-02-03 21:26:43
918
原创 七、测试计划（软件工程）
【列出组装测试和确认测试中每一项测试的内容、名称、目的和进度。【列出测试计划中所用到的专门术语的定义和缩写词的原意。【给出测试对资源的特殊要求，如设备、软件、人员等。【说明所完成的各项测试说明问题的范围及其局限性。【给出实测结果与预期结果之间允许偏差的范围。【说明确定测试方法和选取测试用例的原则。【说明项目的来源、委托单位及主管部门。【按顺序逐个对测试项目做出说明：】【测试机构名称、负责人和职责。【说明评价测试结果的准则。【输入的数据和输入命令。【说明测试所需的资料。测试项目名称及测试内容。
2024-02-02 21:52:40
984
原创 六、用户操作手册（软件工程）
【提供应急或非常规操作的必要信息及操作步骤，如出错处理操作、向后备系统切换操作以及维护人员须知的操作和注意事项。【给出程序的存储形式、操作命令、反馈信息及其含意、表明安装完成的测试实例以及安装所需的软件工具等。【详细阐明每一输出数据的格式，如：首部、主体和尾部的具体形式。【按字母顺序逐个列出全部操作命令的格式、功能及参数说明。【说明输出数据的去向、使用频度、存放媒体及质量管理等。【列出手册中所用到的专门术语的定义和缩写词的原文。【按顺序说明每种运行的步骤，应包括：】【给出建立或更新文件的有关信息，如：】
2024-01-28 21:18:37
1818
原创 五、详细设计说明书（软件工程）
【列出文档中所用到的专门术语的定义和缩写词的原文。【阐明编写详细设计说明书的目的，指明读者对象。【应包括项目的来源和主管部门等。【给出测试模块的主要测试要求。【如给出软件系统的结构图。【逐个模块给出以下的说明：】【模块所选用的算法。
2024-01-27 21:16:58
1089
原创 四、概要设计说明书（软件工程）
【列出本文档中所用到的专门术语的定义和缩写词的原文。【阐明编写概要设计说明书的目的，指明读者对象。【说明为方便维护工作的设施，如维护模块等。【如设置后备、性能降级、恢复及再启动等。【包括用户界面、软件接口与硬件接口。【表明各项功能与程序结构的关系。总体结构和模块外部设计。数据结构与程序的关系。
2024-01-26 22:02:01
1967
原创 三、需求规格说明书（软件工程示例）
操作系统：Microsoft Windows 2000 Advanced Server。【在操作方式、运行环境、与其它软件的接口以及开发计划等发生变化时，应具有的适应能力。为明确软件需求、安排项目规划与进度、组织软件开发与测试，撰写本文档。数 据 库：Microsoft SQL Server 2000。【如响应时间、更新处理时间、数据转换与传输时间、运行时间等。【列出文当中所用到的专门术语的定义和缩写词的原文。【如屏幕格式、报表格式、菜单格式、输入输出时间等。【如可使用性、安全保密、可维护性、可移植性等。
2024-01-21 19:39:03
1195
原创 二、项目开发计划模板
【阐明为完成项目应具备的条件、开发单位已具备的条件以及尚需创造的条件。必要时还应说明用户及分合同承包者承担的工作、完成期限及其他条件与限制。【简要说明项目的各项主要工作，介绍所开发软件的功能、性能等。【说明可能影响项目的关键问题，如设备条件、技术焦点或其他风险因素，并说明对策。【如测试计划、质量保证计划、配置管理计划、人员培训计划、系统安装计划等。【按阶段完成的项目，用图表说明开始时间、完成时间。【列出本档中用到的专门术语的定义和缩写词的原文。【列出应交付的程序名称、使用的语言及存储形式。
2024-01-20 19:14:49
410
原创 一、可行性研究报告模板（软件工程）
【敏感性分析是指一些关键性因素，如：系统生存周期长短、系统工作负荷量、处理速度要求、设备和软件配置变化对支出和效益的影响等的分析。【如，用户单位的行政管理、工作制度、人员素质等能否满足要求。【逐个阐明其他可供选择的方案，并重点说明未被推荐的理由。【说明现有系统存在的问题以及为什么需要开发新的系统。【列出文档中所用到的专门术语的定义和缩写词的原文。【如，合同责任、侵犯专利权、侵犯版权等问题的分析。【如人力、设备、空间、支持性服务、材料等项开支。【列出并说明建议开发软件的基本要求，如。．其他可供选择的方案。
2024-01-19 21:44:25
2516
原创 软件工程：宠物管理系统概要说明书示例
在系统运行过程中，如果出现错误，我们需要及时地向用户展示错误的详细信息，以便于用户理解错误的原因并采取相应的解决措施。3. 异常监测与报警：监测系统异常行为，如暴力破解、SQL 注入等，并及时报警，防止安全隐患。4. 版本控制：使用版本控制系统，如 Git，来管理源代码，便于跟踪项目进度和回滚错误更改。2. 访问控制：为不同角色的用户分配不同的权限，确保用户只能访问自己权限范围内的功能。5. 文档化：编写详细的开发文档和用户手册，方便维护人员和用户了解系统功能和使用方法。// 执行可能出现错误的代码。
2024-01-14 21:18:36
620
原创 软件工程宠物管理系统详细计划示例
同时，通过与其他相关系统的集成，该系统可以方便地获取流浪宠物的领养、捐赠、志愿者等信息，从而更好地管理和控制流浪宠物。f. 用户操作手册（初稿）：《宠物管理系统用户操作手册（初稿）》，日期：2023 年 11 月，编号：2023-LP-06，来源：“宠护者联盟（Pet Guardians Alliance）”。e. 测试计划（初稿）：《宠物管理系统测试计划（初稿）》，日期：2023 年 11 月，编号：2023-LP-05，来源：“宠护者联盟（Pet Guardians Alliance）”。
2024-01-13 21:57:29
1516
原创 SQLServer 系统概述
1975~1979年研制了著名的关系数据库管理系统原型System R，同时实现了SQL这种查询语言，且该语言被关系数据库管理系统的早期商品化软件（如ORACLE等）所采用。此后随着新版本SQL-99、SQL-2000和SQL-2003的相继问世，SQL语言进一步得到了广泛应用。SQL是利用一些简单的语句构成的基本语法，来存储数据库的内容。1989年4月ISO提出了具有完整性特征的SQL，并称之为SQL-89。无论用户使用哪个公司的产品，SQL的基本语法都是一样的。：SQL语言功能强大，但是语法极其简单。
2024-01-11 22:29:52
548
原创 考研数学区别
而数学二不同，1-6、9-13、15-21均是高等数学的题目，7-8、14、22-23为线性代数的题目。数学一、二、三均考察线性代数这门学科，而且所占比例均为22%，从历年的考试大纲来看，数一、二、三对线性代数部分的考察区别不是很大，唯一不同的是数一的大纲中多了向量空间部分的知识，不过通过研究近五年的考试真题，我们发现对数一独有知识点的考察只在09、10年的试卷中出现过，其余年份考查的均是大纲中共同要求的知识点，而且从近两年的真题来看，数一、数二、数三中线性代数部分的试题是一样的，没再出现变化的题目!
2024-01-04 21:16:33
776
原创 Java的常规面试题
Java的面试题主要涉及Java基础知识、并发编程、集合原理、JVM原理、I/O与网络编程、设计模式、互联网常用框架等多个领域[6]。需要注意的是，不同的公司和职位可能会有不同的面试要求，所以还需要对所应聘的公司和职位有深入的了解，并在面试前做好充分的准备。3. String类型的基本知识，以及与StringBuilder、StringBuffer的区别。1. 请解释Spring Security和Shiro的工作原理及特点。2. 请解释Spring Security和Shiro的配置方式。
2024-01-02 18:53:36
544
原创 操作系统期末复习
如果逻辑地址中的段内地址不超过该表目中所示长度，则把该表目中的起始地址与段内地址相加，所得的值就是要访问的主存绝对地址；否则，如果逻辑地址中的段内地址超过该表目中所示长度，则产生地址越界中断，暂停作业的运行。（1）计算该作业访问[0，432]，[1，10]，[2，500]，[3，400]（方括号中第一个元素为段号，第二个元素为段内地址）的绝对地址。将逻辑地址中的段号与段表寄存器中该作业的段表长度比较，若超出，则产生地址越界中断；由段表寄存器中的段表地址找到该作业的段表，由段号找到该段在段表中的表目；
2024-01-01 20:04:45
812
原创 操作系统：分页存储管理方式
（2）因为页面大小为4K，所以在32位逻辑地址中的低12位是页内地址，把逻辑地址2D16H转成二进制：0010 1101 0001 0110，其中低12位部分 1101 0001 0110部分表示页内地址，高位0010表示页号，因此可知页号为2，对应的物理块号为4，将4写成二进制为0100。解：（1）因为逻辑地址结构图中所示的页内偏移量是12位，所以页大小为4KB，页表项数为232/4K=220×4B，由于页表项大小为4字节，该一级页表最大占用字节数为220×4B=4MB。(2)作业每一页的长度为多少？
2023-12-31 19:33:50
2764
原创 操作系统：可变分区管理
步骤2，作业B请求分配内存27K，遍历分配完作业A之后的最佳适应算法空闲队列｛（210，3），（160，9），（110，24），（31，33）｝，作业B将从首地址31的内存块33K中分得27K内存（假设从空闲块尾部分割），剩余首地址31的6K空闲内存（31，6）将作为新的空闲块在最佳适应算法空闲队列中重新排序并得到如下排序序列｛（210，3），（31，6），（160，9），（110，24）｝。2.动态分区存储管理算法。装入JA后内存空闲区变为：5KB、28KB、10KB、226KB和110KB。
2023-12-30 19:08:34
1719
原创 操作系统期末复习
银行家算法某系统有A,B,C三类资源（数量分别为17，5，20）和P1~P5五个进程，在T0时刻系统状态如下表所示： 进程 资源最大需求量 已分配资源 A B C A B C P1 5 5 9 2
2023-12-29 17:35:37
834
原创 操作系统期末复习题
这里，生产者放入缓冲区的产品有两类，消费者也有两类，每类消费者只消费其中固定的一类产品。答：根据题意，设P1、P2、P3和P4分别为4个运动员的进程，他们对应的信号量分别为S1、S2、S3和S4，初值为S1=答：在这个问题中，生产者和消费者使用固定的有限数目的n个缓冲区来进行任意数目消息的传递，依据题意设置如下信号量，//互斥使用取号机的信号量。起跑，前进100米 起跑，前进100米 起跑，前进100米 起跑，前进100米。semaphore full = 0, // 可用的满资源信号量。
2023-12-27 19:37:17
663
原创 操作系统复习资料
解：7:00的时候系统中只有作业A到达，其他三个作业还没到达，作业A开始运行，40分钟后（7:40）作业A完成，此时作业B和C均已到达，根据短作业优先原则，作业C开始运行，30分钟后（8:10）作业C完成，此时作业D也已经到达，根据短作业优先原则，作业D开始运行，10分钟后（8:20）作业D完成，此时系统中只有作业B在等待调度，因此作业B在8:20开始运行，35分钟后（8:55）作业B完成，至此，四个作业全部执行完毕。9:06作业B结束，调度作业A，此时作业A的响应比=1+2.1/0.8=3.625。
2023-12-26 19:31:07
517
原创 操作系统期末复习资料
但是若要问，虚存的实际容量是多少时，则要考虑主存和辅存的大小，若主存和辅存之和小于4GB(对于32位系统)，则应是主存和虚存的实际容量之和。当所有人都申请临街资源时，资源的需要量为n，那么缺少的资源数为m-n，即S量为m-n。A．I、II和III B．I、II和IV C．I、III和IV D．II、III和IV。A．运行态→就绪态 B．运行态→等待态 C．等待态→就绪态 D．就绪态→等待态。A．进程优先权 B．资源的静态分配 C．进程的推进顺序 D．分配队列优先权。
2023-12-25 22:59:02
1005
原创 设 备 管 理
设备分配中会出现死锁。与中断方式相比，DMA方式的优点是在一批数据传送完成后中断CPU，从而大大减少了CPU进行中断处理的次数，并且DMA方式下的数据传送是在DMA控制器控制下完成的，在数据传输过程中无需CPU干预。对于不同类型的设备，其缓冲区的大小是不一样的，块设备的缓冲是以数据块为单位，而字符设备的缓冲则以字节为单位。针对具有不同传输速率的设备，综合系统效率和系统代价等因素，合理选择I/O控制方式，如像打印机等低速设备应采用中断驱动方式，而对磁盘等高速设备则采用DMA控制方式等，以提高系统的利用率。
2023-12-24 21:23:06
508
原创 操作系统文件管理
当用户请求访问一个特定文件时，操作系统先检查该文件的访问控制表，如果用户具有相应的访问权限，就允许其访问，否则，就出现保护违约，拒绝用户访问。文件系统的主要目标是提高存储空间的利用率，它要解决的主要问题有：完成文件存储空间的管理，实现文件名到物理地址的转换，实现文件和目录的操作，提供文件共享能力和安全措施，提供友好的用户接口。在对索引文件进行检索时，首先根据用户(程序)提供的关键字，并利用折半查找法去检索索引表，从中找到对应的表项，再利用该表项中给出的指向记录的指针值，去访问所需的记录。
2023-12-23 18:56:47
511
关于Javaee基于ssm框架的宠物管理系统
2024-01-13
SQL-server数据库和表的创建与管理.doc
2023-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人