大数据是做什么的(数据分析师35岁以后怎么办)

本文主要为我们介绍大数据的概念、发展和相关应用。

“大数据就像青少年性行为:每个人都在谈论它，没有人真正知道如何去做，每个人都认为其他人都在做，所以每个人都声称自己也在做。”

2013年被称为大数据元年，各行各业逐渐开启大数据应用时代。直到现在，大数据依然被人们津津乐道。

何为大数据？

PB够大吗？

如果没有直观的印象，可以想到电脑的硬盘容量。标准是500G-1TB，大部分人都用了一两年了。可能这部分产能还没用完。而1PB=1024TB=1048576GB。

实际操作中，一个鲜为人知的游戏一天的数据量大概是几十TB，甚至更多。

如果你觉得PB单位已经是最大的了？那就大错特错了！！！！

在PB之上，还有EB(Exabyte艾字节)、ZB(Zettabyte千兆字节)和YB(Yottabyte千兆字节千兆字节)，而这些单位只是为了方便统计海量数据而给出的当前单位，未来可能会出现更大的单位。

英特尔首席执行官布莱恩·科兹安尼克表示，2020年互联网用户每天将产生1.5GB的数据。

他的数据预测，到2025年，全球互联网(IoT)连接设备的总装机量有望达到754.4亿台，这些设备每天产生的数据量可想而知。

根据前面的数据关系，得出1ZB约为1.1万亿GB，等于全世界沙子的总量。

从上图不难看出，互联网数据每年都在爆炸式增长。当然，大数据不仅仅是大量的数据，还有其他更深层次的含义。

对于大数据，麦肯锡全球研究院给出的定义是:

数据集合的规模非常大，其获取、存储、管理和分析远远超出了传统数据库软件工具的能力

大数据有五个特点，叫做5V。

1. 多样（Variety）

大数据的多样性意味着数据的类型和来源是多样的。数据可以是结构化的、半结构化的和非结构化的。数据的呈现形式包括但不限于文本、图像、视频、HTML页面等。

2. 大量（Volume）

大数据的丰富程度是指数据的大小。这是笔者上面介绍的，这里就不赘述了。

3. 高速（Velocity）

大数据的高速是指数据的快速增长和处理。每天，各行各业的数据都在呈指数级增长。在很多场景下，数据是有时效性的，比如搜索引擎需要在几秒钟内呈现用户所需的数据。或者说当企业系统面临着快速增长的海量数据时，必须高速处理，快速响应。

4. 低价值密度（Value）

大数据的价值密度低，意味着海量数据源中真正有价值的数据少之又少，很多数据可能是错误的、不完整的、不可用的。总的来说，有价值的数据在总数据中的密度极低，提炼数据就像在海浪中淘沙。

5. 真实性（Veracity）

大数据的真实性是指数据的准确性和可靠性，代表数据的质量。

数据一直都在，变革的是方式

大数据的意义不仅在于生产和掌握庞大的数据信息，还在于对有价值的数据进行专业处理。

人类从来不缺数据，缺的是数据的深度价值挖掘和利用。可以说，从人类社会有文字开始，数据就存在了，现在也一样。唯一改变的是从数据生成到数据记录再到数据使用的整个过程的形式。

1. 数据生产

人类社会早期，粮食至上，数据生成多与商品、粮食、土地等挂钩。旧石器时代的部落人民在树枝或骨头上雕刻凹痕，以记录日常的贸易活动或供应。

为了测量货物的长度，中国人发明了英尺、英里、英寸、尺、步、英尺等长度单位。为了测量重量，发明了举、斗、迎宾等重量单位。

互联网时代，数据的生产变得更加容易。美国互联网数据中心曾指出，互联网上的数据每年会增长50%，每两年翻一番。目前世界上90%以上的数据都是近几年才产生的。

每个人每天都会产生海量的数据，比如视频数据、电商数据、社交数据等等。

全世界每60秒钟产生的数据

2. 数据记录

几千年前，人们用龟甲、石鼓、竹简、帛帛、造纸术成熟后的版画等。作为数据的载体。

几千年后，人们用书籍、报纸、硬盘、光盘、存储器等更灵活简单的方式记录数据。

3. 数据利用

古人用甲骨卜辞占卜吉凶，用占星术预测朝代兴亡；用蚂蚁移动，燕子低飞，蚯蚓出洞来预测天气。

互联网时代，企业或产品利用电商数据为用户推荐产品，利用社交数据进行广告和营销。

在大数据概念兴起之前，大多数企业并没有注意到数据的宝贵价值，只是简单地生产和记录数据。更何况，海量数据被视为累赘，因为数据的存储和管理耗费了很多企业的成本，很少有企业能把数据作为一种资源，嗅到大数据背后的价值，然后加以利用。即使是现在，整合利用数据资源的能力仍然是考验每个企业的一大难点。

大数据应用

大数据作为一种可以改变行业应用的技术，只有实施才能带来真正的价值。

其实大数据的应用范围非常广泛，不仅仅局限于互联网行业，在金融、制造、交通、物流等其他领域也有很大的应用价值。

1. 大数据让借贷款更加放心

在金融行业，以借贷为例。贷款前，贷款人会利用大数据对借款人进行贷前审核，从而保证贷后还款率。

出借人合法地从各种渠道收集借款人的标签信息，如学历、职业、薪资状况、历史借款还款等。(据说一个用户的标签维度可以达到7000)。将海量数据放入反欺诈模型、还款能力模型、身份验证模型等等进行训练。最后得出本次贷款申请是否、贷款金额、贷款人还款意愿等评估信息。

借款人数据收集越多，标签维度越细，数据越真实，审核效果就会越全面。

2. 大数据让广告营销更高效

作为广告互联网行业最常见的变现手段之一，大数据赋能广告营销，让广告从烦人变成广告即内容，广告即服务。

曾几何时，你会发现你日常生活中看到的广告是那么的了解你。点击淘宝，Banner首页推荐你喜欢的商品；打开微信朋友圈，你会看到你正在尝试做的汽车保养；打开百度搜索，前两天看的别墅信息赫然出现。

这一切都要归功于大数据支持广告。

在广告前期，借助大数据对大量数据进行整合分析，包括用户的浏览习惯、消费行为、浏览记录、广告点击等。，并从中挖掘有效信息；构建全面的用户画像，结合广告业务，精准定位目标用户，保证定向投放广告。

大数据构建用户画像

在广告中后期，通过实时数据反馈，结合用户位置和时间的变化，动态优化广告素材，调整广告的呈现方式和展示位置，让同一用户在不同场景享受不同的广告服务，实现一人千面，增加广告营销效果，提升广告主KPI。

3. 大数据赋能零售

新零售时代，顾客的需求无时无刻不在变化。大数据赋能零售，让零售改变人、货、市场。

零售商可以利用大数据来预测未来的市场需求，并在库存管理中占据领先地位。高流量前期，及时补库存，提高商品供应率；在流量分散的前期，及时去库存，避免库存积压。

借助大数据，分析用户地域分布、店铺流量、消费习惯等。，并在合适的区域开店建仓。在物流配送中，从数据出发，合理规划运输路线，降低运输成本。

利用数据还可以统一上下游供应链之间的交互，解决数据不正确的问题，减少牛鞭效应，提高供应链各环节的利用效率。

总结

数据一直都在，大数据改变的只是方式。大数据并不神秘。神秘的是对未知数据的探索和利用。

本文由@pm_SWolf原创发布。每个人都是产品经理。未经许可，禁止复制。

来自Unsplash的图像，基于CC0协议。