时间: 2021-07-30 11:01:04 人气: 9 评论: 0
对于中小型企业来说，开始尝试以数据的思维去思考问题，开始涉足大数据领域，这就是一个从0到1的过程了。
前面刚好爬取了多个招聘网站的大数据JD信息，做了一份《2016大数据领域职位需求画像报告》，我们知道，当前大数据的需求基本属于遍地开花。
无论是帝都还是魔都，还是广州深圳，亦或者是全国其他各地，都在搞大数据；不管是不到百人的微小公司，还是几百人上千人的中型公司，亦或者是上万的大型公司，都在需求数据岗位。
大公司暂且不论，他们一切都走在前头。那么，对于中小型企业来说，开始尝试以数据的思维去思考问题，开始涉足大数据领域，这就是一个从0到1的过程了。
有（bu）幸（xing），这近半年来，我亲自见证以及亲身体**到了这个过程（好吧，这就是我半年没有文字更新的原因了），或者至今仍然在完善1这个过程中。
期间，有痛苦有坑、有喜悦有成功、有沉静有反思，这是一件快乐又痛苦，同时最终又注定很有成就感的事。
所以，我打算写一个系列，名字就暂定为《从0到1构建大数据生态系列》吧。当然，目标群体仅仅是中小型企业中，从0到1开始构建数据生态的同行们。
希望，我整理的这些东西，或者说一个技术小故事能够帮助到各位同行朋友们，能够给你们在某些阶段一些有用的建议或者参考。
至于大婶们，有兴趣的就略瞅两眼，没兴趣的就高抬贵脚，从旁绕过。当然，限于个人的知识累积以及能力，必然**存在一些误差或者观点错误，欢迎指正以及交流。
我想尽量以轻松的语句，去呈现这整个事件，去描述我自己的观点（其中**夹着很多我自己对行业，对问题的看法观点），去讲述我其中遇到的一些故事。
这样也可能**有趣点，降低纯技术的枯燥感，当然，也更符合我自己的文字笔法，希望你们能喜欢！
企业为什么想起要做大数据？
一个中小型企业，为什么突然就想起要开始做数据，开始组建大数据团队呢？从目前现状来看，这是一个很正常的现象。大家都做嘛！
但有没有想过，为什么大家都做？
大数据这个鬼东西怎么在四五年前一下子就火的不行了，然后在这两年更是成了香馍馍？大批大批的传统IT从业人员，纷纷转行搞大数据。这是真的，近一年来，我面试的很多人里，很多都是从传统行业转型到大数据的，甚至有六七年开发经验，依然毅然决然转型的。这定然是市场驱动使然，有利益就有市场，有市场就有需求。
而资本市场也偏好靠数据说话的企业，甚至出现了很多以数据业务为核心的企业公司，甚至专门做数据服务的行业，一样融到了大把大把的钱。
个人认为企业开始关注，甚至是涉身大数据，资本偏好只是表象，在其内层必然还有更深层的原因。
在大数据真正兴起的08/09年之前，整个互联网都是一个蓬勃发展的时代，互联网自身普及以及覆盖度的提升，互联网基础实施、电脑智能设备等进一步普及，为各个互联网企业带来了巨大的红利。
15年的时候，我跟一个创业公司的CEO聊天时，他说过一句话，我感觉很难概况这个情况：
当年，我那个小论坛要是能坚持做下去，现在估计早就发达了。
是的，没错，当年就是随便搞个网站，只要好好搞，基本都能吸引到一大**的人，有人就能产生利益。
换做更专业点的术语就是：流量红利！
那么，到了现在，流量红利早已消息不见了。面向各种人群、满足各种需求的网站、软件、APP等等，铺天盖地而来，让用户应接不暇。
你需要的、你不需要的、你能想到的、你想不到的，五花八门的企业都**为你提供，你怎么选？！
所以，流量红利消失了！那该怎么搞？
那效率和效果这个事情就不得不重视起来了，让用户更好的使用你的东西，让你的东西更精准化、让你的员工策略方案更具有效率，那么，你就更能在千千万万的类似企业中生存下去。
那么，你的企业必然需要慢慢地远离“我觉得吧”、“我感觉”、“可能”、“或者”、“按道理应该”等这种词汇，一切回归到数据中去，让你的决策跟着数据走。
快速进行方案假设、快速进行数据反馈、快速进行策略修正、快速进行决策，让自己跑的路线更准、让自己跑得更快。
让你的用户体验更好、用的更爽，让他感觉更亲切自然，而不是你强加于其上的意志，让他被迫看你安排的东西、用既定功能。
所以，企业慢慢地开始讲究预测用户的心理，开始谈必言其“个性化”。这听起来很玄乎，但确实是实实在在的用户本质需求。因为，用户的口味也被我们各种同质化严重应用、软件，给养刁了。
于是乎，大数据大行其道；于是乎，转行者如过江之鲫。最重要的是，哈哈，它给了我一口饭吃。
你看到的是一个饮毛茹血的现状！
在引入大数据这个概念之前，试想一下，企业的数据层面**是处于一个什么样的状况？
这里我想引用原始社**的一个标志词：“饮毛茹血”。
中小型企业一般使用传统的数据库来存储业务数据，并且很大一部分是MySQL（别问我为什么，因为它免费啊），我想，这点毋庸置疑。而一般的中小型企业，特别是小型创业公司，基本是不配置专门的数据库工程师的，都是业务开发人员兼任。
于是乎，你**看到各种各样奇葩设计的数据库表、各种各样错综复杂数据表关系、各种各样看起来不合理其实用起来也不合理的数据存储方式。
你以为你来做大数据的，这些业务数据就跟你没关系吗？！关系可大发了，你第一个要处理的数据就是业务数据。
你将**忙于天天跟业务开发人员沟通交流，焦头烂额地去梳理清楚这些业务关系，甚至是转换成你要的数据形态。
然后你**不自觉地吐槽：
我凑，尼玛关系数据库中的数据也要做清洗呀！
其实这也是没有办法的事，历史原因使然，人力成本使然，这是我们处于0的阶段必然需要面对的东西。
在大数据这个体量中，业务数据只是占据了很小的一部分。是的，更多的是用户的行为数据，业务的访问数据。
你可能**很高兴的说，对了，不是有业务服务的log吗?我们可以从log中清洗出很多有用的Visitor数据来，一个MapReduce就搞定啦，分分钟的事。
啊，这个呀，当时没有想到要记录下这些东西哟，没有打这些LOG。
是不是想大喷一口血？情况好点的公司，虽然处理不了数据，但是依然是有意识的在很多业务逻辑中，埋下业务的服务LOG，落成LOG文件，待有处理能力时再做处理。
再好点的，已经有点数据意识了，开始在业务中主动埋下一些数据收集点，开始收集用户的行为轨迹数据。
但依然是把数据存储到了MySQL中，很多点位逻辑是错乱的，点位的收集目标是不清晰的（也没办法清晰，因为我都不知道要怎么用，都是提前埋下，将来可能要用而已）。
这已经很不错了，虽然点位是不准确的，虽然我不知道一天50万、100万的数据量，你的MySQL能撑几天，但好歹是有了吧，已经很不错了。
再好点的就是，已经有大数据的一到两个储备人员了，已经能够近乎的将数据以近乎正确的姿势存储到hive或者HBase中，哪怕是HDFS里头。
这已经是伟大的进步了，至少恭喜你，你已经踏过了0的阶段，步入了0.1时代！
以上基本上就是你进入一个即将要开始做大数据的公司，所看到的东西。是不是一脸懵逼、大写的尴尬？恨不得把这些乱七八糟的，一下子磁**格式化掉。
这个时候，你需要做点什么?
这里，我所说的做什么，不是指开始动手干。而是之前的准备工作，算是前期工作吧。
进入之后，第一时间当然掌握如上那些信息了。接着，你需要好好跟你的老板谈一谈人生，啊不，是谈谈他到底想干什么？
他想达到一个什么样的数据业务目标，想花多大的成本，下了多大决心去做这件事，仅仅是跟跟风、炒炒概念，还是真的想解决问题。
这很重要，这关乎到你后续将投入的人力，不同阶段的规划，怎么去做这件事，做好这件事。
其实不单纯这里，其他方面也是一样的，遇到一个问题，一定是需要了解够足够的信息，彻底的了解需求才去做的，这不耽误事，不然吃力不讨好，妥妥的。
于此同时，你需要慢慢根据蛋碎菊紧的现状以及BOSS的“伟大宏图”，去规划你的人力了。至于说人力怎么搭配，什么年份、什么水平，这就需要看“菊花”到底有多紧，“宏图”到底有多大，时间到底还有多少去思考了。
好了，背起你的锄头，去挖别人家的墙角吧；或者，**脸的时候到了，万能的朋友圈，彰显你的威力吧！
作者：blogchong
本文来源于人人都是产品经理合作媒体@36大数据，作者@blogchong
