现有一份 2019 年我国部分省份高考分数线数据文件examination2019.csv,共有4个数据字段,字段说明如表1所示。 表1 高考分数线数据字段名称 字段说明 说明 地区 省、直辖市或自治区 考生类别 考生报考类别

动态 未结 0 391
小小草
小小草 管理员 2023年9月23日 23:20 发表
以下是使用Scala语言的Spark代码实现: ```scala // 导入SparkContext和SparkConf类 import org.apache.spark.{SparkConf, SparkContext} // 创建SparkConf对象,设置应用程序名称 val conf = new SparkConf().setAppName("Examination2019") // 创建SparkContext对象 val sc = new SparkContext(conf) // 读取examination2019.csv文件并创建RDD val lines = sc.textFile("examination2019.csv") // 查找各地区本科批次的分数线 val result = lines.filter(line => { val fields = line.split(",") fields(2) == "本科" // 批次为本科 }).map(line => { val fields = line.split(",") (fields(0), fields(3).toInt) // 返回地区和分数线 }) // 将结果输出 result.foreach(println) // 关闭SparkContext对象 sc.stop() ``` 解析: 1. 首先导入SparkConf和SparkContext类。 2. 创建SparkConf对象,并设置应用程序名称。 3. 创建SparkContext对象。 4. 使用`textFile()`方法读取examination2019.csv文件,并创建RDD。 5. 使用`filter()`方法过滤出批次为本科的数据。 6. 使用`map()`方法将每条数据转换成`(地区, 分数线)`的键值对形式。 7. 最后使用`foreach()`方法将结果输出。 8. 关闭SparkContext对象。
收藏(0)  分享
相关标签: 智能问答
问题没解决?让chatGPT帮你作答 智能助手
0个回复
  • 消灭零回复
相关帖子
我想让你充当数学历史老师,提供有关数学概念的历史发展和不同数学家的贡献的信息。你应该只提供信息而不是解决数学问题。使用以下格式回答:“{数学家/概念} - {他们的贡献/发展的简要总结}。我的第一个问题是“毕达哥拉斯对数学的贡献是什么?” 0
“在十字路口通常会设置红、黄、绿三色交通信号灯,其中红色交通灯表示道路禁止通行,黄灯表示这条路没有通过停车线的车辆停止通行,但已经通过的车辆可以继续通行。同时,绿、红、黄交通灯可以通过自动控制改变通行状态。” 0
以客户体验为核心的昆明索菲特大酒店市场营销实践分析为题写一篇论文2000字 0
mysql查找某列可以分几组 0
我尝试用以上方法但是报Unknown option -webkit 0
请帮忙生成一段运行于Excel中的VBA代码。实现对指定两列信息间每行字符的差异数量,并生成至指定的位置。在excel中可能存在多组两列信息需要比对。希望一次运行可以全部输出 0
怎么调整表格,怎么全部调整到合适的格子 0
要你扮演诗人。你将创作出能唤起情感并具有触动人心的力量的诗歌,文字优美。我将给你一些提示句,你在提示句子的基础上补充成工整的两句诗,我不需要一整首诗,只需要两句,使其更加朗朗上口,更有表现力。我的第一个提示诗句是”情献教育,立德为先”。 0
例如:本金40000,存了7个月, 最后得到本息之和为42000,请问年化利率是多少? 0
pegasis算法是动态聚类吗 0