| Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？ | 您所在的位置：网站首页 › excel表格不能直接打开如何处理 › Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？ |
Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？
|
##Excel如何打开百万行及以上的csv，再快速整理、提取出想要的数据？ 大数据时代，百万行及以上数据如何处理？–PowerQuery（PQ）是不错的选择。 通常来讲，百万行数据我们只需要用到其中的一部分，或者只是作统计 excel支持100万行数据，但是用excel打开较大的数据很慢（30M及以上）、超100万行的部分会被截掉、即使打开了操作经常会无响应（特别是带了公式，还没关掉自动计算）；或许只能把数据切割后，分次操作。总之，效率很低，无法忍受的低。 简单讲下我自己如何用PQ实现的： 有个csv文件，643M，没法直接打开所以多少万行我也不清楚(╥_╥) csv加载到PQ中 新建一张空表，PQ导入这个大家伙。  
点击编辑，进入编辑界面。 比如，我想要看下CO_OBJECT_INSTANCE列有哪些数据，因为PQ无法加载所有数据，所以对这一列去重复项，那么就可以得到这列有哪些数据。 为了提高速度，右键CO_OBJECT_INSTANCE列，删除其他列；  删完重复项，得到16369行。  随机抽了几个校验下（464079、279149），里面确实有我想要的数据，而且这一列都是唯一的。  上面的例子，从643M的海量数据里面，提取了符合条件的16369行，总计花费3~4分钟。整体的效率可以说非常高！
基于这个数据，我可以再次用PQ查找、整理提取更多相关的数据。同时，可以发现PQ的操作界面和excel很相似，熟悉excel的朋友很快就能上手。 总结 PowerQuery处理数据的过程类似于SQL操作，关联数据源后并不会加载整个文件，而是截取前面一小节数据显示（200行），大文件加载速度也很快。根据这一段显示的数据，我们可以在海量数据中设置各种条件查找、整理、统计，设置条件过程中会校验是否有错；调试通过后关闭上载，PQ就会遍历整个文件，把符合条件的数据摘出来输出到excel中，源数据不改动。当然，源数据中有改动，直接刷新整个查询结果也会更新，它是动态的。 例子里做的各种操作，其实都被翻译成了M语言。通过点选无法实现的操作，可以通过M语言来抽象编写实现进阶操作。 所以，整理大数据的时候，可以考虑使用下PowerQuery。 如果本文帮助有帮助到你，记得鼓励一下哦~(⊙ᗜ⊙) |
3. PQ中整理
删完了，这样：
立马我后悔了，突然想起另外还有几列要一起保留；PQ可以悔棋！ 
又回来了，这次好好选一下，选了3列，点删除其他列。 
可以了，下一步。 右键CO_OBJECT_INSTANCE列，删除重复项。 
PQ支持的多种数据源，甚至可以连数据库。多表或多数据源直接可以合并查询（高级版vlookup），方便快捷。支持sql语句查询！【本文地址】