今天不管是在中国还是世界,都流行着这样一个概念——大数据。在潮涌般的媒体报道、论文研究、专著解读中,“大数据”这一热词被不同利益群体以不同角度,进行截然不同的解读,让人难以琢磨。
今天不管是在中国还是世界,都流行着这样一个概念——大数据。在潮涌般的媒体报道、论文研究、专著解读中,“大数据”这一热词被不同利益群体以不同角度,进行截然不同的解读,让人难以琢磨。
于是笔者发现,面临新鲜事物带来的商机以及创新突围的压力,不少企业还没有弄清何为大数据,为什么要做大数据,就开始唯恐落后地“大力投入”。
4月26日,在千家智客与华南理工大学新闻与传播学院联合策划举办的“大数据与智能品牌用户体验研讨会上,智能算法与智能软件研究所主任黄翰,向大家分享了他多年来在大数据方面积累的经验。
何为大数据?
想要将自己的产品、技术或者服务装进大数据这个箩筐中图存发展,首先就要厘清大数据的概念。2001年,在全球IT咨询服务巨头Gartner工作的分析师DougLaney第一次提出了一个三维模型,用来分析数据增长带来的挑战和机会。
图右为Doug Laney
这三个维度分别是:超大数据量(Volume)、时效性(Velocity)和多样性(Variety)。但是仅仅这样理解大数据还是不够的。黄翰教授在DougLaney 3V的基础上又增加了一个V,即高价值(VALUE)。
在研讨会上,黄翰教授指出与其将4V称之为维度还不如说是特征来得合适些。以超大数据量来说,大数据的“大”已经不能用人们所熟知的GB、TB为单位来衡量了。2006年,个人用户才刚刚迈进TB时代,全球就一共新产生了约180EB的数据。
有市场机构预测,到2020年,整个世界的数据量将会增长44倍,达到35.2ZB,相当于10亿TB。(1PB=1024TB,1EB=1024PB,1ZB=1EB)。
如果对这些数据单位还没有直观印象的话,不妨看一下这个例子:Facebook一分钟内就能产出350GB的数据量,用户累计点击180万次“赞”按钮,甚至每一秒就有41000个帖子发布。
第二个特征是多样性。大数据的来源种类包罗万象,十分多样化。如果把资料分类的话,最简单的方法是分两类,结构化与非结构化。
智能算法与智能软件研究所主任黄翰
黄翰教授表示,早期的非结构化资料主要是文字,随着网路的发展,又扩展到电子邮件、网页、社交媒体、视讯,音乐、图片等等,这些非结构化的资料造成储存(storage)、探勘(mining)、分析(analyzing)上的困难。
第三个特征是时效性。“大数据就是要告诉大家原来不知道的东西,因此时效性很重要,如果没有时效性大数据就会失去魅力。”黄翰教授在研讨会上表示。
以双十一“剁手促销”来说,利用大数据,企业可以基于消费者的位置、购买历史等,分析出其喜欢的商品,并实时推送,创造可观的营收。时间就是金钱,这些数据都需要即是做出反应,否则就会失去参考价值。
最后一个特征是高价值,也是企业最关心的。黄翰教授指出,大数据将在政府公共服务、医疗服务、零售业、制造业以及涉及个人位置服务等领域得到广泛的应用,并产生巨大的社会价值和产业空间。以公共管理为例,欧洲的公共管理大数据每年有2500亿欧元的潜在价值,比希腊的GDP还高。
在会上,黄教授还指出,“需要明确的是,大数据取决于数据规模、结构复杂性和关联性,某个公司的数据量大并不等于公司具备拥有和利用大数据的背景。”
智能分析,大数据的未来之路
可以说,大数据无处不在。那么有了大数据以后应该如何获取有用价值呢?“针对大数据的智能分析软件是很好的选择。”黄翰教授给出了自己的见解,利用智能分析软件可以将大数据中蕴含的价值进行提纯。
以海量视频内容智能分析软件为例,现在监控摄像头遍布家庭、超市、道路等场所,具有非常高的利用价值,但是却一直得不到重视。
据统计,广东省平安城市的视频采集点超过230万个,每天产生的数据量高达253000TB。利用智能分析软件对这些海量视频进行挖掘提纯,将会对快速、精准地打击恐怖行为、犯罪活动提供有力帮助。
另外,黄翰教授还在现场分享了海量人脸库智能分析软件。据介绍,人脸库智能分析软件利用的是基于五官比例特征的快速人脸识别方法。
这里不得不提到一款俄罗斯的智能分析软件Find Face,它是一款基于大数据的智能脸部分析软件。
根据脸部一些特殊的结构,FindFace的发明者写出了脸部识别技术算法,并与现有的人脸图片进行连接。用户只要把要搜索的图片进行输入,就能轻松找到自己想要找的人。
“除了能完成个人用户的识别需求外,海量人脸库智能分析软件还能协助警察破案。”2015年,外逃18年、多次变换身份的境外逃犯谢仁良被上海警方抓获。利用的就是人脸识别技术。在谢仁良入境时,边检部门通过人脸识别和大数据分析提供的线索,将其锁定。
大数据与智能品牌用户体验研讨会现场
值得注意的是,逃犯即使整容也办法逃出法网。黄教授解释说,因为人的某些面部特征,即使是整容,也无法改变,比如眼瞳孔之间的距离等。
除此之外,大数据与智能软件碰撞的火花还在商务、教育、健康、饮食等领域得到大发展,火势正猛。借用智能分析软件分析大数据,进行消费者细分,能够帮助企业更精准地投放广告、设计产品,提高收入。
结语:大数据渐成趋势已是必然,对于企业来说紧跟潮流,学习和思考大数据固然重要。但是更为重要的是不能成为一个机会主义者,邯郸学步、东施效颦。如果自身没有配套的操作系统、云平台或数据分析技术,可以暂且观望或者求助外援。
评论 (0)