如何评价大数据的未来？

我入行不久，以前做别的领域，现在做hive相关的工作，随便说说，说错了请留言告知。

今年回上海，有个朋友跟我说他混互联网，公司做大数据。然后告诉我大概用户不会超过几万，更偏向B2B的业务。基本上整年可供挖掘的数据也不会超过100TB，其实一台PC慢慢跑足够了。这个叫大数据？想起之前有一段时间火的是云计算，然后是个网络公司都说自己是云计算如何如何。其实网络公司本质就是云的，想要套概念的话有什么公司套不上去么？现在看起来大数据和当时云计算一样都象是骗局。不过真的是么？

怎么样才算大数据？

数据其实一直都有，只是之前没有办法利用起来（当然近些年的数据量也绝非10年前可比，这两者是互相促进的）。传统来说，大家都是用数据库存储关系型数据，而传统的关系型数据设计上有一些限制，比如因为一致性无法方便地拓展。就算不管用不用数据库分析，也大多都是单机，数据大一点也许要跑好久，海量数据就基本歇菜。而且数据一旦是非结构化的，比如网络的访问日志，甚至爬虫爬来的网页本身，都没法很好的用传统的分析手段有效分析。其实也不能说完全不能，只是手段未免繁琐，需要耗时耗力的预处理，分析起来可能也要专家经手或者难以维护。对一般的公司，那些非结构化的海量数据，类似贫矿，不是没有价值，只是如果提炼成本大于结果，那挖掘就没有意义了。

10年前，说大型数据分析你想到什么？银河号计算机？基因组网格计算？都是高帅富的手段。那时候要分析海量数据，没什么屌丝手段。那时候分布式计算的设计和开发模型也远比现在MapReduce这样的简化模型要复杂，称得上火箭科学。

我没有考证过是谁“开启”了大数据时代，不过在我看来，MapReduce模型，非结构化非强一致性数据系统之类的，这些屌丝手段的诞生，让火箭科学变得象烤串一样人人都可以负担得起了。你不用租银河超级计算机，不用找专家来费劲规范化并导入数据再分析，不用设计复杂的分析软件，不用IOE（IBM/Oracle/EMC）的产品（其实很多情况下，数据太大，就算IOE，常规手段也撑不住的），只要经济实惠的普通pc，买个几百上千台，架上hadoop，就能开挖数据了。而且MapReduce的编程模型也极其简单，数学系统计系出身的非码农也能随时学会没商量。再加上Hive之类的辅助系统，就连你家市场部妹子都能随时敲个SQL看看当天的用户反馈。

现在的大数据，不是火箭科学，而正相反，是屌丝技术，人人都用得起的技术。

正因为他的屌丝性，所以以前完全无法利用的贫矿，非结构化，噪音超多的海量数据就可以被很多屌丝公司有效利用了。通过分析，你可以挖出所有用户的口味偏好并准实时更新推荐列表，你可以知道搜索关键字的热点变化趋势，你可以知道正在访问某网站的某用户更适合看什么样的广告。

这些在以前，如果不是专门花大价钱找牛人搞系统，买牛屄的ETL和分析系统，单用经济实惠的软硬件方案解决是无法搞定的。

这就是大数据的真正意义。

再说这些数据的价值，就如我之前说的，总体看是贫矿，但是如果能经济地开采，那就是财富。这里的前提是，你要有足够多的贫矿去冶炼。如果你家只有一麻袋贫铁矿，你还是没法迎娶白富美，但是如果你有几千万吨，而且能象在后院烧垃圾那般随随便便就炼了，那你就是人生赢家了。

另一个客观制约是冶炼手段。我对现有的机器学习保持谨慎乐观态度，如果这方面有长足发展，而且技术能够用经济的解决方案予以工程化，那不但现有数据能挖出更多东西，而且一些以前无法挖掘的数据（比如多媒体数据）也将变得宝贵。

总结下：

按照我的看法，媒体和资本，往往超前于技术发展，他们会炒热一些概念，其实这些概念还远不成熟。大数据现在很多技术手段都是新的，甚至没有定型，生态系统混乱不堪，没有标准，这是新生事物的通病，不过也侧面说明这东西还远不到成熟。我并不觉得大数据的概念会凋亡，不过一旦它真的成熟，随随便便就能玩得转，那它就不会象现在这么被热炒，因为乱世不在，就很难从中牟暴利了。

大数据和云计算类似，都是让人看不懂但人人都说自己有。不过他们是骗局么？现在云计算似乎不如前些年提得多了，但是它消失了么？完全不是，它只是变得更成熟了，润物细无声。相对前些年喊得响做得少，现在是真的到处在用了。大数据也一样，今后，物联网和穿戴设备将会引入更多数据，哪天你发现没有公司号称自己是大数据公司，那只是因为人人都在用大数据分析，不会再拿它当拉投资的噱头了。

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

今年Strata Hadoop Conference见闻，比去年Hortonworks版的Hadoop Summit，更多的传统企业已经入坑。和一个保险业的数据经理聊天说，这两年看起来系统慢慢成熟，似乎是时候跳下来玩了，至少自己地盘可以扩展，能不能用，上了试试看再说。