学生课程分数的 Spark SQL 分析

您所在的位置：网站首页 › 高考考几门功课每门功课多少分 › 学生课程分数的 Spark SQL 分析

学生课程分数的 Spark SQL 分析

2024-06-03 08:53:45| 来源: 网络整理| 查看: 265

目录学生课程分数的 Spark SQL 分析读学生课程分数文件 chapter4-data01.txt，创建 DataFrame。一、用 DataFrame 的操作完成以下数据分析要求二、用 SQL 语句完成以下数据分析要求三、对比分别用RDD操作实现、用DataFrame操作实现和用SQL语句实现的异同。(比较两个以上问题)总共有多少学生？Tom的平均分？Tom选修了几门课？每门课多少分？四、结果可视化。

读学生课程分数文件 chapter4-data01.txt，创建 DataFrame。 from pyspark.sql.types import * from pyspark.sql import Row # 下面生成“表头” fields = [StructField('name',StringType(),True),StructField('course',StringType(),True),StructField('score',IntegerType(),True)] schema = StructType(fields) # 下面生成“表中的记录” lines = spark.sparkContext.textFile("file:///usr/local/spark/mycode/rdd/chapter4-data01.txt") parts = lines.map(lambda x: x.split(",")) data = parts.map(lambda p:Row(p[0],p[1],int(p[2]))) # 把“表头”和“表中的记录”拼接在一起 df = spark.createDataFrame(data,schema) df.printSchema()

df.show()

一、用 DataFrame 的操作完成以下数据分析要求每个分数+5分。 df.select('name','course',df.score+5).show()

总共有多少学生？ df.select('name').distinct().count()

总共开设了哪些课程？ df.select('course').distinct().show()

每个学生选修了多少门课？ df.groupBy('name').count().show()

每门课程有多少个学生选？ df.groupBy('course').count().show()

每门课程大于95分的学生人数？ df.filter(df.score>95).groupBy('course').count().show()

Tom选修了几门课？每门课多少分？ df.filter(df.name == 'Tom').show()

Tom的成绩按分数大小排序。 df.filter(df.name == 'Tom').orderBy(df.score).show()

Tom的平均分。 df.filter(df.name == 'Tom').agg({"score":"mean"}).show()

求每门课的平均分，最高分，最低分。 # 求每门课的平均分 df.groupBy('course').avg('score').show()

# 求每门课的最高分 df.groupBy('course').max('score').show()

# 求每门课的最低分 df.groupBy('course').min('score').show()

求每门课的选修人数及平均分，精确到2位小数。 from pyspark.sql.functions import * df.select(countDistinct('name').alias('学生人数'),countDistinct('course').alias('课程数'),round(mean('score'),2).alias('所有课的平均分')).show()

每门课的不及格人数，通过率 df.filter(df.score

【本文地址】

公司简介

联系我们

今日新闻

点击排行

实验室常用的仪器、试剂和: 说到实验室常用到的东西，主要就分为仪器、试剂和耗

不用再找了，全球10大实验: 01、赛默飞世尔科技（热电）Thermo Fisher Scientif

三代水柜的量产巅峰T-72坦: 作者：寞寒最近，西边闹腾挺大，本来小寞以为忙完这

通风柜跟实验室通风系统有: 说到通风柜跟实验室通风，不少人都纠结二者到底是不

集消毒杀菌、烘干收纳为一: 厨房是家里细菌较多的地方，潮湿的环境、没有完全密

实验室设备之全钢实验台如: 全钢实验台是实验室家具中较为重要的家具之一，很多

图片新闻

实验室药品柜的特性有哪些: 实验室药品柜是实验室家具的重要组成部分之一，主要

小学科学实验中有哪些教学: 计算机计算器一般打孔器打气筒仪器车显微镜

实验室各种仪器原理动图讲: 1.紫外分光光谱UV分析原理：吸收紫外光能量，引起分

高中化学常见仪器及实验装: 1、可加热仪器：2、计量仪器：（1）仪器A的名称：量

微生物操作主要设备和器具: 今天盘点一下微生物操作主要设备和器具，别嫌我啰嗦

浅谈通风柜使用基本常识: 　众所周知，通风柜功能中最主要的就是排气功能。在

学生课程分数的 Spark SQL 分析

学生课程分数的 Spark SQL 分析

今日新闻

点击排行

推荐新闻

图片新闻

专题文章