大数据

大报告(big data)

什么是大报告

大报告是指无法在一定时期内用常规软件工具对其内容执行抓取、管理和处理的报告集合。大报告技术，是指从各种各样类型的报告中，迅速得到有价值信息的能力。适用于大报告的技术，包含大范围并行处理（MPP）报告库，报告挖掘电网，分布式文件系统，分布式报告库，云计算平台，互联网，和可扩展的存储系统。

大报告的定义

大报告由巨型报告集构成，该数据集大小常多出人类在可接受时间下的收集、庋用、管理和处理能力。大报告的大小经常更改，截止2012年，单一报告集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

在一份2001年的研究与有关的演讲中，麦塔集团（META Group，现为高德纳）分析员道格·莱尼（Doug Laney）表示报告上涨的考验和机遇有三个方向：量（Volume，报告大小）、速（Velocity，报告输入输出的进展）与多变（Variety，多样性），合称“3V”或“3Vs”。高德纳与当下多部分大报告产业中的公司，都继续运用3V来描述大报告。高德纳于2012年修改对大报告的定义：“大报告是大批、高速、及/或多变的信息资产，它需要新型的处理方式去促成更强的决策能力、洞察力与最优化处理。”此外，有机构在3V之外定义第4个V：真实性（Veracity）为第四特点。

大报告务必借由计算机对报告执行统计、比对、解析方能得出客观结果。美国在2012年就开始着手大报告，奥巴马更在与年投入2亿美金在大报告的开发中，更强调大报告将是之后的将来石油。报告挖掘（data mining）则是在探讨用以解析大报告的方法。

大报告的特点

具体来看，大报告具有4个基本特质：

一是报告体量重大。百度资料显示，其新首页导航每天需要供应的报告胜过1.5PB（1PB=1024TB），该数据假使打印出来将胜过5千亿张A4纸。有资料确认，到迄今为止，人类生产的所有印刷材料的报告量仅为200PB。

二是报告类型多样。当下的报告类型不仅是文本形式，许多的是图片、视频、音频、地理位置信息等多种型的报告，个性化报告占绝对多数。

三是处理速度快。报告处理遵循“1秒定律”，可从各种类型的报告中迅速得到高价值的信息。

四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，或许有用的报告仅仅只有一两秒。

大报告的作用

第一，对大报告的处理分析正形成新一代信息技术融合应用的结点。移动互联网、物联网、社交媒体、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用持续造成大报告。云计算为这些海量、多样化的大报告供应存储和运算平台。通过对不同来源报告的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出重大的经济和社会价值。

大报告具有催生社会变革的能量。但放出该种能量，需要严谨的报告治理、富裕洞见的报告分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大报告是信息产业连续高速上涨的新引擎。面向大报告市场的新技术、新产品、新服务、新业态会持续涌现。在硬件与集成设备领域，大报告会对芯片、存储产业造成重要影响，还会催生一体化报告存储处理服务器、内存计算等市场。在软件与服务领域，大报告将导致报告迅速处理分析、报告挖掘技术和软件产品的成长。

第三，大报告利用将形成提升核心竞争力的核心原因。各行各业的决策正在从“业务驱使” 转变“报告驱使”。

对大报告的分析可以使零售商实时掌握市场动态并快速作出应对；可以为商家策划愈加准确有效的营销策略供应决策支持；可以帮助企业为消费者供应愈加及时和个性化的服务；在医疗领域，可提升诊断精准性和药物有效性；在公共事业领域，大报告也开始发挥促进经济发展、维护社会平稳等方面的重要作用。

第四，大报告时代科学研究的方法手段将发生巨大更改。比如，抽样调查是社会科学的基本研究方法。在大报告时代，可通过实时监测、追踪研究对象在互联网上造成的海量举动报告，执行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

大报告的分析

众所周知，大报告已经不简简单单是报告大的事实了，而最重要的现实是对大报告执行分析，只有通过分析才可获取很多智能的，深入的，有价值的信息。那么逐渐增多的应用涉及到大报告，而这些大报告的属性，包含数量，速度，多样性等等均为呈现了大报告持续上涨的复杂性，所以大报告的分析方法在大报告领域就显得尤为重要，可以说是决定最终信息能否有价值的决定性原因。基于这样的认识，大报告分析广泛存在的方法理论有哪些呢？

1. 可视化分析。大报告分析的运用者有大报告分析专家，同期仍有普通用户，但是他们二者对于大报告分析最基本的要求就是可视化分析，由于可视化分析能够直观的呈现大报告特点，同期能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 报告挖掘算法。大报告分析的理论核心就是报告挖掘算法，各种报告挖掘的算法基于不同的报告类型和格式才可愈加科学的呈现出报告自身具备的特点，也正是由于这些被全球统计学家所公认的各种统计方法（可以称之为真理）才可深入报告内部，挖掘出公认的价值。此外一个方面也是由于有该数据挖掘的算法才可更迅速的处理大报告，假使一个算法得花上好几年才可得出结论，那大报告的价值也就无从说起了。

3. 预期性分析。大报告分析最终要的应用领域之一就是预期性分析，从大报告中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的报告，进而预期将来的报告。

4. 语义引擎。非结构化报告的多元化给报告分析导致新的考验，我们需要一套工具系统的去分析，提炼报告。语义引擎需要设计到有充足的人工智能足够从报告中主动地提取信息。

5.报告质量和报告管理。大报告分析离不开报告质量和报告管理，高质量的报告和有效的报告管理，无论是在学术研究依旧在商业应用领域，都能够保证分析结果的真实和有价值。

大报告分析的基础就是以上五个方面，诚然愈加深入大报告分析的话，仍有很多很多愈加有特点的、愈加深入的、愈加专业的大报告分析方法。

大报告的技术

报告采集：ETL工具负责将分布的、异构报告源中的报告如关系报告、平面报告文件等抽取到临时中间层后执行清洗、转换、集成，最后加载到报告仓库或报告集市中，形成联机分析处理、报告挖掘的基础。

报告存取：关系报告库、NOSQL、SQL等。

基础架构：云存储、分布式文件存储等。

报告处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言困难的一门学科。处理自然语言的核心是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一面它是语言信息处理的一个分支，另一面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

统计分析：如果检验、明显性检验、差异分析、有关分析、T检验、方差分析、卡方分析、偏有关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐渐回归、回归预期与残差分析、岭回归、logistic回归分析、曲线预期、因子分析、聚类分析、主成分分析、因子分析、迅速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

报告挖掘：分类 （Classification）、预期（Estimation）、预期（Prediction）、有关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂报告类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预期：预期模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等。

大报告的处理

1. 大报告处理之一：采集

大报告的采集是指利用多个报告库来接收发自客户端（Web、App或者传感器形式等）的报告，而且用户可以通过该数据库来执行简单的查询和处理工作。比如，电商会让用传统的关系型报告库MySQL和Oracle等来存储每一笔事务报告，除此之外，Redis和MongoDB如此的NoSQL报告库也常用于报告的采集。

在大报告的采集过程中，其首要特点和考验是并发数高，由于同期有机会会有成千上万的用户来执行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在最大值时高达上百万，所以需要在采集端部署大批报告库才可支撑。而且如何在该数据库之间执行负载均衡和分片的确是需要深入的思考和设计。

2. 大报告处理之二：导入/预处理

尽管采集端自身会有很多报告库，但是假使要对这些海量报告执行有效的分析，依旧应当将这些来自前端的报告导入到一个集中的大型分布式报告库，或者分布式存储集群，而且可以在导入基础上做一部分简单的清洗和预处理工作。也有一部分用户会在导入时运用来自推特的Storm来对报告执行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和考验首要是导入的报告量大，每秒钟的导入量经常会高达百兆，甚至千兆级别。

3. 大报告处理之三：统计/分析

统计与分析首要利用分布式报告库，或者分布式计算集群来对存储于其内的海量报告执行普通的分析和分类总览等，以满足大部分常见的分析需求，在这方面，一部分实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一部分批处理，或者基于半结构化报告的需求可以运用Hadoop。

统计与分析这部分的首要特点和考验是分析涉及的报告量大，其对系统资源，尤其是I/O会有极大的占用。

4. 大报告处理之四：挖掘

与前面统计和分析过程不同的是，报告挖掘一般没有什么预先设定好的主题，首要是在现有报告上面执行基于各种算法的计算，进而起到预期（Predict）的效果，进而达到一部分高级别报告分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，首要运用的工具有Hadoop的Mahout等。该过程的特点和考验首要是用于挖掘的算法很复杂，而且计算涉及的报告量和计算量都很大，常用报告挖掘算法都以单线程为主。

整个大报告处理的广泛流程起码应当满足这四个方面的步骤，才可算得上是一个比较完整的大报告处理。

大报告的常见误解

一、报告不等于信息

经常有人把报告和信息当作同义词来用。其实不然，报告指的是一个原始的报告点（无论是通过数字，文字，图片依旧视频等等），信息则直接与内容挂钩，需要有讯息性（informative）。报告越多，不一定就能代表信息越多，更不能代表信息就会成比例增多。有两个简单的例子：

备份。很多人如今已经会定期的对自己的硬盘执行备份。这个没什么好多解释的，每次备份全将创造出一组新的报告，但信息并没有增多。

多个社交网立稳的信息。我们当中的很多人在多个社交网立稳活跃，伴随我们上的社交网站越多，我们得到的报告就会成比例的增多，我们得到的信息尽管也会增多，但却不会成比例的增多。不单单由于我们会互相转发好友的微博（或者其余社交网立稳的内容），更由于很多内容会十分相似，有些微博尽管具体文字不同，但表达的内容十分类似。

二、信息不等于智慧（Insight）

当下我们移除了报告中所有重复的部分，也整合了内容相似的报告，当下我们剩下的全是信息了，这对我们就一定有用吗？不一定，信息要能转化成智慧，起码要满足一下三个标准：

可破译性。这或许是个大报告时代特有的困难，逐渐增多的企业每天全将生产出大批的报告，却还没想好怎么用，所以，他们就将该数据临时非结构化（unstructured）的存储起来。这些非结构化的报告却不一定可破译。比如说，你记录了某客户在你网立稳三次翻页的时间间隔：3秒，2秒，17秒，却忘记标注这三个时间见底代表了什么，该数据是信息（非重复性），却不可破译，所以不或许形成智慧。

关联性。无关的信息，至多导致噪音。

新颖性。这里的新颖性很多时候无法仅仅依据我们手上的报告和信息执行分析。举个例子，某电子商务公司通过一组报告/信息，分析出了客户愿意为当天送货的产品多支付10块钱，然后又通过另一组完全独立的报告/信息得到了同样的内容，如此的情形下，后者就不具备新颖性。不幸的是，很多时候，我们只有在处理了大批的报告和信息以后，才可分析它们的新颖性。

大报告时代存储所面对的困难

伴随大报告应用的暴发性上涨，它已经衍生出了自己独特的架构，而且也直接助推了存储、网络以及计算技术的成长。毕竟处理大报告该种特殊的需求是一个新的考验。硬件的成长最终依旧由软件需求助推的，就这个例子来看，我们很显著的目睹大报告分析应用需求正在影响着报告存储基础设施的成长。

从另一面看，这一改变对存储厂商和其余IT基础设施厂商未尝不是一个机会。伴随结构化报告和非结构化报告量的连续上涨，以及分析报告来源的多样化，在此之前存储系统的设计已经无法满足大报告应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大报告存储基础设施有关的属性，看看它们如何迎接大报告的考验。

容量困难

这里所说的“大容量”一般可高达PB级的报告范围，所以，海量报告存储系统也一定要有相应等级的扩展能力。就在此时，存储系统的扩展一定要简便，可以通过增长模块或磁盘柜来增长容量，甚至不需要停机。基于如此的需求，客户当下越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有适当的存储容量之外，内部还具备报告处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以达到无缝平滑的扩展，避免存储孤岛。

“大报告”应用除了报告范围重大之外，还代表着拥有庞大的文件数量。所以如何管理文件系统层累积的元报告是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一短板。所幸的是，基于对象的存储架构就不存在这个困难，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元报告管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并构成一个跨区域的大型存储基础架构。

推迟困难

“大报告”应用还存在实时性的困难。尤其是涉及到与网上交易或者金融类有关的应用。举个例子来看，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录执行分析，并精准的执行广告投放。这就要求存储系统在务必能够支持上述特性同期维持较高的响应速度，由于响应推迟的结果是系统会推送“过期”的广告内容给客户。该种场景下，Scale-out架构的存储系统就可以发挥出优势，由于它的每一个节点都具有处理和互联组件，在增长容量的同期处理能力也可以同步上涨。而基于对象的存储系统则能够支持并发的报告流，进而更深一步提升报告吞吐量。

有很多“大报告”应用环境需要较高的IOPS性能(IOPS (Input/Output Operations Per Second)，即每秒执行读写（I/O）操作的次数，多用于报告库等场合，衡量随机访问的性能)，比如HPC高性能计算。另外，服务器虚拟化的普及也致使了对高IOPS的需求，正如它更改了传统IT环境一样。为了迎接这些考验，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

并发访问一旦企业认识到大报告分析应用的潜在价值，他们就会将许多的报告集纳入系统执行比较，同期让许多的人分享并运用该数据。为了创造许多的商业价值，企业往往会综合分析那些来自不同平台下的多种报告对象。包含全局文件系统以内的存储基础设施就能够帮助用户处理报告访问的困难，全局文件系统允很多个主机上的多个用户并发访问文件报告，而该数据则或许存储在多个地点的多种不同类型的存储设备上。

安全困难

某些特殊行业的应用，比如金融报告、医疗信息以及政府情报等都有自己的安全标准和保密性需求。尽管对于IT管理者来看这些并没有什么不同，而且均为务必遵从的，但是，大报告分析往往需要多种报告相互参考，而在以往并没有会有该种报告混合访问的情形，所以大报告应用也催生出一部分新的、需要考虑的安全性困难。

成本困难

“大”，也或许代表着代价不菲。而对于那些正在运用大报告环境的企业来看，成本控制是核心的困难。想控制成本，就代表着我们要让每一台设备都达到更高的“效率”，同期还要降低那些昂贵的部件。当前，像重复报告删除等技术已经进入到主存储市场，而且当下还可以处理许多的报告类型，这都可以为大报告存储应用导致许多的价值，提高存储效率。在报告量持续上涨的环境中，通过降低后端存储的消耗，哪怕导致减弱几个百分点，都能够得到显著的投资回报。另外，自动精简配置、快照和克隆技术的运用也可以提高存储的效率。

很多大报告存储系统都包含归档组件，尤其对那些需要分析历史报告或需要长期保存报告的机构来看，归档设备必不可少。从单位容量存储成本的角度看，磁带依然是最经济的存储介质，实际上，在很多企业中，运用支持TB级大容量磁带的归档系统依然是实际上的标准和惯例。

对成本控制影响最大的原因是那些商业化的硬件设备。所以，很多初次进入这一领域的用户以及那些应用范围最大的用户全将定制他们自己的“硬件平台”并非是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，当下逐渐增多的存储产品都供应纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。另外，很多存储软件公司仍在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

报告的积攒

很多大报告应用全将涉及到法规遵从困难，这些法规一般要求报告要保存几年或者几十年。比如医疗信息一般是为了保证病例的生命安全，而财务信息一般要保存7年。而有些运用大报告存储的用户却期望报告能够保存更长的时间，由于任何报告均为历史记录的一部分，而且报告的分析大均为基于时间段执行的。要达到长期的报告保存，就要求存储厂商开发出能够连续执行报告统一性检测的功能以及其余保证长期高可用的特性。同期还要达到报告直接在原位更新的功能需求。

灵活性

大报告存储系统的基础设施范围一般都很大，所以务必经历仔细设计，才可保证存储系统的灵活性，使其能够伴随应用分析软件一起扩容及扩展。在大报告存储环境中，已经没有必要再做报告迁移了，由于报告会同期保存在多个部署站点。一个大型的报告存储基础设施一旦开始投入运用，就很难再调整了，所以它务必能够适应各种不同的应用类型和报告场景。

应用感知

最早一批运用大报告的用户已经开发出了一部分针对应用的定制的基础设施，比如针对政府项目开发的系统，仍有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的运用越来越广泛，它也是改观系统效率和性能的重要手段，所以，应用感知技术也应当用在大报告存储环境里。

小用户怎么办？

依靠大报告的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业将来也一定会应用到大报告。我们目睹，有些存储厂商已经在开发一部分小型的“大报告”存储系统，首要吸引那些对成本比较敏感的用户。

大报告应用与案例分析

[1] Seton Healthcare是采取IBM最新沃森技术医疗保健内容分析预期的首个客户。该技术允许企业寻到大批病人有关的临床医疗信息，通过大报告处理，更好地分析病人的信息。

[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有胜过3000次的报告读取。通过该数据分析，医院能够提早知道哪些早产儿显现困难而且有针对性地采取措施，避免早产婴儿夭折。

[3] 它让许多的创业者更方便地开发产品，比如通过社交媒体来收集报告的健康类App。也许将来数年后，它们搜集的报告能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动警示你又一次服药。

[1] 智能电网当下欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了激励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时机还可以买回来。通过电网收集每隔五分钟或十分钟收集一次报告，收集来的该数据可以用来预期客户的用电习惯等，进而推断出在将来2~3个月时间里，整个电网大约需要多少电。有了这个预期后，就可以向发电或者供电企业买入一定数量的电。由于电稍微像期货一样，假使提早买就会比较便宜，买现货就比较贵。通过这个预期后，可以减弱采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象报告执行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大报告，以往需要数周的分析工作，当下仅需要不足1小时便可完成。

[1] XO Communications通过运用IBM SPSS预期分析软件，降低了将近二分之一的客户流失率。XO当下可以预期客户的举动，发现举动趋势，并找出存在缺陷的环节，进而帮助公司及时采取措施，保留客户。另外，IBM新的Netezza网络分析增速器，将通过供应单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业策划更科学、合理决策。

[2] 电信业者透过数以千万计的客户资料，能分析出多种运用者举动和趋势，卖给需要的企业，这是全新的资料经济。

[3] 中国移动通过大报告分析，对企业经营的全业务执行针对性的监控、预警、追踪。系统在第一时间自动捕捉市场改变，再以最快捷的方式推送给指定主管，使他在最短时期内获知市场行情。

[4] NTT docomo(日本最大的移动通信经营商，拥有胜过6千万的签约用户)把手机位置信息和互联网上的信息结合起来，为顾客供应附近的餐饮店信息，靠近末班车时间时，供应末班车信息服务。

[1] "我们的某个客户，是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户供应服务。公司期望向客户供应差异化服务，如何定位公司的差异化，他们通过从 推特 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到务必保留两类有价值的客户：高消费者和高影响者。期望通过接受免费化妆服务，让用户执行口碑宣传，这是交易报告与交互报告的完美结合，为业务考验给予了处理方案。"Informatica的技术帮助这家零售商用社交平台上的报告充实了客户主报告，使他的业务服务更具有目标性。

[2] 零售企业也监控客户的店内走动情形以及与商品的互动。它们将该数据与交易记录相结合来展开分析，进而在销售哪些商品、如何摆放货品以及什么时候调整售价上给出意见，此类方法已经帮助某领先零售企业降低了17%的存货，同期在维持市场份额的前提下，增长了高利润率自有品牌商品的比例。

大报告

有关条目