【转载】R语言dplyr包学习笔记（吐血整理宇宙无敌详细版）

2024-06-03 12:49| 来源: 网络整理| 查看: 265

出处：AI入门学习

dplyr包介绍

dplyr包主要用于数据清洗和整理，主要功能有：行选择、列选择、统计汇总、窗口函数、数据框交集等是非常高效、友好的数据处理包，学清楚了，基本上数据能随意玩弄，对的，随意玩弄，简直大大提高数据处理及分析效率。我以为，该包是数据分析必学包之一。学习过程需要大量试验，领悟其中设计的精妙之处。欢迎交流

#包安装与加载 install.packages("dplyr") library(dplyr) #调用mtcars数据&数据集介绍 data(mtcars) str(mtcars)

本文案例使用数据集 mtcars 具体结构如下,直接加载即可共11个字段，32条数据，每个字段的含义如下:mpg-百公里油耗；cyl-气缸数；disp-排量；hp-马力；drat-轴距；wt-重量； qsec-百公里时间；vs-发动机类型

##############################################################

按行筛选: filter()

按给定的逻辑判断筛选出符合要求的子数据集, 类似于 subset() 函数

filter(mtcars, mpg>=22) filter(mtcars, cyl == 4 | gear == 3) filter(mtcars, cyl == 4 & gear == 3) 注意: 表示 AND 时要使用 & 而避免 &&

##############################################################

按列筛选：select

select()用列名作参数来选择子数据集。dplyr包中提供了些特殊功能的函数与select函数结合使用，用于筛选变量，包括starts_with，ends_with，contains，matches，one_of，num_range和everything等。用于重命名时，select()只保留参数中给定的列，rename()保留所有的列，只对给定的列重新命名。原数据集行名称会被过滤掉。

data(iris) iris = tbl_df(iris) #选取变量名前缀包含Petal的列 select(iris, starts_with("Petal")) #选取变量名前缀不包含Petal的列 select(iris, -starts_with("Petal")) #选取变量名后缀包含Width的列 select(iris, ends_with("Width")) #选取变量名后缀不包含Width的列 select(iris, -ends_with("Width")) #选取变量名中包含etal的列 select(iris, contains("etal")) #选取变量名中不包含etal的列 select(iris, -contains("etal")) #正则表达式匹配，返回变量名中包含t的列 select(iris, matches(".t.")) #正则表达式匹配，返回变量名中不包含t的列 select(iris, -matches(".t.")) #直接选取列 select(iris, Petal.Length, Petal.Width) #返回除Petal.Length和Petal.Width之外的所有列 select(iris, -Petal.Length, -Petal.Width) #使用冒号连接列名，选择多个列 select(iris, Sepal.Length:Petal.Width) #选择字符向量中的列，select中不能直接使用字符向量筛选，需要使用one_of函数 vars % mutate(cyl2 = cyl * 2,cyl4 = cyl2 * 2) 1.1.2删除列 mtcars %>% mutate(mpg = NULL,disp = disp * 0.0163871) mtcars %>% mutate(cyl = NULL)

不需要的列不在了

1.1.3窗口函数应用 mtcars %>% group_by(cyl) %>% mutate(rank = min_rank(desc(mpg))) mtcars %>% group_by(cyl) %>% mutate(mpg_max = max(mpg))

原来的明细还保留，同时每个分组的统计值算出来了，是不是很方便

1.2 批量操作

同时若你嫌麻烦一个个地对变量进行操作，还可以使用mutate_each函数对数据框中的变量批量操作，通过调整funs（即functions）和vars（variables）参数控制functions的数量，以及参与变形的variables，这里控制variables的技巧与select函数相似。

#对每个变量进行排名 mtcars%>%mutate_each(funs(dense_rank)) mpg cyl disp hp drat wt qsec vs am gear carb 1 16 2 13 11 16 9 6 1 2 2 4 2 16 2 13 11 16 12 10 1 2 2 4 3 19 1 6 6 15 7 22 2 2 2 1 4 17 2 16 11 5 16 24 2 1 1 1 5 13 3 23 15 6 18 10 1 1 1 2 #对disp的变量进行排名 mtcars%>%mutate_each(funs(dense_rank,min_rank),disp) mpg cyl disp hp drat wt qsec vs am gear carb dense_rank min_rank 1 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 13 13 2 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 13 13 3 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 6 6 4 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 16 18 5 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 23 27 6 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 15 17 7 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 23 27 #对除了disp的变量进行排名 mtcars%>%mutate_each(funs(dense_rank,min_rank),-disp) 2、transmute

返回值中不包含原数据集变量，只保留计算转换后的变量。

mtcars%>%mutate(wt_log=log(wt)) mtcars%>%transmute(wt_log=log(wt)) mtcars %>%mutate(displ_l = disp / 61.0237) mtcars %>%transmute(displ_l = disp / 61.0237)

##############################################################

排名函数：ranking

row_number 通用排名，并列的名次结果按先后顺序不一样，靠前出现的元素排名在前

min_rank 通用排名，并列的名次结果一样，占用下一名次。

dense_rank 中国式排名，并列排名不占用名次，如：无论有几个并列第2名，之后的排名仍应该是第3名

percent_rank 按百分比的排名

cume_dist 累计分布区间的排名

ntile 粗略地把向量按堆排名，n即是堆的数量

x = c(5, 1, 3, 2, 2, NA) row_number(x) min_rank(x) dense_rank(x) percent_rank(x) cume_dist(x) ntile(x, 2) mtcars%>%mutate(dense_rank=cume_dist(cyl))

##############################################################

排序函数: arrange()

注意，排序与排名的区别，结合rank函数理解

按给定的列名依次对行进行排序.

arrange(mtcars, mpg) arrange(mtcars, mpg,disp) 对列名加 desc() 进行倒序或者负数: arrange(mtcars, desc(mpg)) arrange(mtcars, -mpg)

##############################################################

去重函数：distinct

distinct()用于对输入的tbl进行去重，返回无重复的行，类似于 base::unique() 函数，但是处理速度更快。原数据集行名称会被过滤掉。

df %group_by(cyl) %>% summarise(mean = mean(disp), n = n()) # 按变量cyl, vs分组，求每个组的记录数 mtcars %>% group_by(cyl, vs) %>% summarise(cyl_n = n()) %>% group_vars() # 按变量cyl分组，求disp的均值和标准差 mtcars %>% group_by(cyl) %>% summarise(disp = mean(disp), sd = sd(disp))

##############################################################

数据匹配函数：join 系列 #数据框中经常需要将多个表进行连接操作, 如左连接、右连接、内连接等，dplyr包也提供了数据集的连接操作， #类似于 base::merge() 函数。语法如下： #内连接，合并数据仅保留匹配的记录 inner_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #左连接，向数据集x中加入匹配的数据集y记录 left_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #右连接，向数据集y中加入匹配的数据集x记录 right_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #全连接，合并数据保留所有记录，所有行 full_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) #返回能够与y表匹配的x表所有记录 semi_join(x,y, by = NULL, copy = FALSE, ...) #返回无法与y表匹配的x表的所有记录 anti_join(x, y, by = NULL, copy = FALSE, ...) df1 = data.frame(CustomerId=c(1:6), sex = c("f", "m", "f", "f", "m", "m"), Product=c(rep("Toaster",3), rep("Radio",3))) df2 = data.frame(CustomerId=c(2,4,6,7),sex = c( "m", "f", "m", "f"), State=c(rep("Alabama",3), rep("Ohio",1))) #内连接，默认使用"CustomerId"和"sex"连接 inner_join(df1, df2) #左连接，默认使用"CustomerId"和"sex"连接 left_join(df1, df2) #右连接，默认使用"CustomerId"和"sex"连接 right_join(df1, df2) #全连接，默认使用"CustomerId"和"sex"连接 full_join(df1, df2) #内连接，使用"CustomerId"连接，同名字段sex会自动添加后缀 inner_join(df1, df2, by = c("CustomerId" = "CustomerId")) #以CustomerId连接，返回df1中与df2匹配的记录 semi_join(df1, df2, by = c("CustomerId" = "CustomerId")) #以CustomerId和sex连接，返回df1中与df2不匹配的记录 anti_join(df1, df2)

##############################################################

集合操作函数: set

dplyr也提供了集合操作函数，实际上是对base包中的集合操作的重写，但是对数据框和其它表格形式的数据操作更加高效。语法如下：

#取两个集合的交集 intersect(x,y, ...) #取两个集合的并集，并进行去重 union(x,y, ...) #取两个集合的并集，不去重 union_all(x,y, ...) #取两个集合的差集 setdiff(x,y, ...) #判断两个集合是否相等 setequal(x, y, ...) mtcars$model %group_by(Species)%>%tally

##############################################################

抽样函数：sample系列

此sample系列是对数据框进行随机抽样，只作用于数据框和dplyr自带的tbl等格式的数据。sample_n为按行数随机抽样，而sample_frac为按比例抽样；其weight参数可以设置抽样的权重而replace参数为有放回抽样。

sample_n(mtcars,2,replace=TRUE) sample_n(mtcars,2,weight=mpg/mean(mpg)) sample_frac(mtcars,0.1) sample_frac(mtcars,0.1,weight=1/mpg)

【本文地址】

公司简介

联系我们