大数据是这个时代的标识,它表征了信息资源的有效开发和利用,从数据到信息再到资源,是应用价值和效益逐步清晰的过程。这包含了数据的采集、传输和存储、利用三个主要的阶段,可靠性、可用性和可恢复性贯穿始终。大数据的重要性已是共识,而大数据在实际应用场景中的落地是大数据真正为我们所用的前提,因为只有明确使用方法,才能充分挖掘和利用大数据对于智慧城市的作用和价值。
如何用好大数据
许多厂商在这方面都有自己的探索和心得。作为从基础设施层面开始提供端到端解决方案的厂商,英特尔的角色具有特殊意义:以至强服务器处理器产品家族、万兆以太网、固态硬盘为代表的硬件创新结合软件创新,它催生了英特尔针对大数据的开放架构创新。而且,面向大数据在智慧城市中的应用及其价值所在,英特尔的理解也较为透彻。
结合英特尔对大数据的理解,英特尔数据中心软件部中国区CTO苗凯翔表示,大数据是构建智慧城市必不可少的重要元素。大数据在智慧城市中的应用需要分三个阶段来具体实施,首先要进行数据的整合。其次是数据挖掘,这也是大数据管理的重点所在。这需要软、硬件的高度配合与协作,也是当今IT企业争相角逐的“赛场”。最后就是需要把大数据变成可操作的行动,从而指导决策和运维。
“技术是强力支撑,管理则是智慧城市效果的决定因素。”安晖进一步指出,在智慧城市中,不管要把信息技术应用到哪里,重要的是提高相关人的意识,让人能够主动地、清楚地运用信息(数据)。从规划之初就必须从整体考虑建设和运营智慧城市,此外,眼光应瞄准实际应用,从城市发展和百姓生活最关注的领域和角度出发,开发应用,推广应用,发挥大数据价值。
结合智慧城市对信息的需求,大数据在智慧城市中的落脚点为——为智慧城市的各个领域提供强大的决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供强大的决策支持,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力等。
在可以预见的未来,大数据将遍布智慧城市的方方面面,从政府决策与服务,到人们包含衣食住行在内的生活方式,再到城市的产业布局和规划,直到城市的运营和管理方式,都将在大数据支撑下走向“智慧化”,大数据成为智慧城市的“智慧引擎”。
大数据市场预测
随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。那么,大数据市场未来发展状况究竟如何?业内人士对此做了十大预测。
1、Hadoop迈向商业化
目前,Hadoop的社区环境与10年前的Linux非常类似。Linux在90年代初期开始成立开源社区,在90年代中期涌现了SUSE、RedHat这些主流商业化厂商,并在2000年前后形成了完整的生态系统,成为业界主流的操作系统方案。而Hadoop在2006-2007年起步,在2009年出现了Cloudera、MapR等解决方案。IDC认为,在未来2-3年中,将会有重量级的Hadoop商业化版本发布。
2、部分早期的Hadoop项目面临挑战
Hadoop具有光明的前景,但并非所有的早期Hadoop项目都能够被推广并得到广泛采用。首先,许多早期Hadoop项目属于试点项目或概念证明性质,目前已经完成了其历史使命;其次,很多Hadoop项目在施行初期没有足够案例可供企业衡量,这将促使这些解决方案在今后几年优胜劣汰。
3、开源软件为大数据市场带来更多机会
IDC认为,与人们的传统理解不同,大数据市场开源软件的盛行不会抑制市场的商业机会,相反开源软件将会给基础架构硬件、应用程序开发工具、应用、服务等各个方面的相关领域带来更多的机会。
4、大数据推动软件公司间的并购
大数据概念覆盖范围非常广,包括非结构化数据从存储、处理到应用的各个环节,与大数据相关的软件厂商也非常多,但是又没有哪一家厂商可以覆盖大数据的各个方面。因此,IDC认为在未来几年中,大型IT厂商将为了完善自己的大数据产品线进行并购,首当其冲的将是信息管理分析软件厂商、预测分析和数据展现厂商等。
5、针对大数据的一体化设备市场迅速增长
自云计算和大数据概念被提出后,针对该市场推出的软硬件一体化设备就层出不穷。IDC认为,在未来几年里,数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。
6、大数据由网络数据处理走向企业级应用
在过去几年中,应用大数据的主要用户局限在互联网、电信运营商等少数企业。IDC认为,市场将逐步了解大数据并不仅指批量处理大量网络记录数据。由于其它各行业的数据容量也在不断增高,行业用户(如能源、金融服务、政府、制造)急需大数据解决方案对数据流进行监测和分析。
7、大数据创造新的细分市场
IDC认为,大数据相关技术的发展,将会创造出一些新的细分市场。例如,以数据分析和处理为主的高级数据服务,将出现以数据分析作为服务产品提交的分析即服务(AnalyzeasaService)业务;将多种信息整合管理,创造对大数据统一的访问和分析的组件产品;基于社交网络的社交大数据分析;甚至会出现大数据技能的培训市场,教授数据分析课程等。
8、出现打包的大数据行业分析应用
随着大数据逐渐走向各个行业,基于行业的大数据分析应用需求也日益增长。IDC认为,未来几年中针对特定行业和业务流程的分析应用将会以预打包的形式出现,这将为大数据技术供应商打开新的市场。这些分析应用内容还会覆盖很多行业的专业知识,也会吸引大量行业软件开发公司的投入。
9、大数据推动基础架构横向拓展
为了支持大数据非结构化、不断刷新的特点,基础架构层面也会在未来发生变化。大数据的基础架构支撑已经不仅限于高性能计算层面,会需要硬件产品更好的支持虚拟化和分布式架构的软件。同时,基于固态存储的分层存储解决方案、智能化的负载均衡网络结构也都会得到更多应用。
10、中国成为全球最重要的大数据市场之一
目前,中国已经是全球最大的PC和智能手机市场,并且中国的互联网用户和移动互联网用户数量也是全球最多,这些终端设备每时每刻都在互联网上创造数据。同时,2011年中国企业级存储的出货量也达到全球第二位。庞大的数据容量不但令众多国际厂商重视中国市场,也使得中国的大数据应用具备了不同于国外的特点,我们有理由期待中国的大数据市场将会出现本土化的创新型解决方案。
基于对大数据市场广阔前景的预期,IDC将中国大数据市场作为近年来的热点主题展开专项跟踪调研,研究内容包括大数据的用户需求现状、现有大数据市场的规模和未来发展趋势的预测等。
关于大数据
大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume、Velocity、Variety、Veracity。