近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。百度目前的总数据量已超过1000PB，每天需要处理的网页数据达到10PB～100PB;淘宝累计的交易数据量高达 100PB;Twitter每天发布超过2亿条消息，新浪微博每天发帖量达到8000万条;中国移动一个省的电话通联记录数据每月可达 0.5PB～1PB;一个省会城市公安局道路车辆监控数据三年可达200亿条、总量120TB。据世界权威IT信息咨询分析公司IDC研究报告预测：全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB(1ZB=1000EB=1000000PB)，10年将增长44倍，年均增长 40%。
早几年人们把大规模数据称为“海量数据”，但实际上，大数据(Big Data)这个概念早在2008年就已被提出。2008年，在Google成立10周年之际，著名的《自然》杂志出版了一期专刊，专门讨论未来的大数据处理相关的一系列技术问题和挑战，其中就提出了“Big Data”的概念。
随着大数据概念的普及，人们常常会问，多大的数据才叫大数据?其实，关于大数据，难以有一个非常定量的定义。维基百科给出了一个定性的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。进一步，当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
由于大数据处理需求的迫切性和重要性，近年来大数据技术已经在全球学术界、工业界和各国政府得到高度关注和重视，全球掀起了一个可与20世纪90年代的信息高速公路相提并论的研究热潮。美国和欧洲一些发达国家政府都从国家科技战略层面提出了一系列的大数据技术研发计划，以推动政府机构、重大行业、学术界和工业界对大数据技术的探索研究和应用。
早在2010年12月，美国总统办公室下属的科学技术顾问委员会(PCAST)和信息技术顾问委员会(PITAC)向奥巴马和国会提交了一份《规划数字化未来》的战略报告，把大数据收集和使用的工作提升到体现国家意志的战略高度。报告列举了5个贯穿各个科技领域的共同挑战，而第一个最重大的挑战就是 “数据”问题。报告指出：“如何收集、保存、管理、分析、共享正在呈指数增长的数据是我们必须面对的一个重要挑战”。报告建议：“联邦政府的每一个机构和部门，都需要制定一个‘大数据’的战略”。2012年3月，美国总统奥巴马签署并发布了一个“大数据研究发展创新计划”(Big Data R & D Initiative)，由美国国家自然基金会(NSF)、卫生健康总署(NIH)、能源部(DOE)、国防部(DOD)等6大部门联合，投资2亿美元启动大数据技术研发，这是美国政府继1993年宣布“信息高速公路”计划后的又一次重大科技发展部署。美国白宫科技政策办公室还专门支持建立了一个大数据技术论坛，鼓励企业和组织机构间的大数据技术交流与合作。
2012年7月，联合国在纽约发布了一本关于大数据政务的白皮书《大数据促发展：挑战与机遇》，全球大数据的研究和发展进入了前所未有的高潮。这本白皮书总结了各国政府如何利用大数据响应社会需求，指导经济运行，更好地为人民服务，并建议成员国建立“脉搏实验室”(Pulse Labs)，挖掘大数据的潜在价值。
由于大数据技术的特点和重要性，目前国内外已经出现了“数据科学”的概念，即数据处理技术将成为一个与计算科学并列的新的科学领域。已故著名图灵奖获得者Jim Gray在2007年的一次演讲中提出，“数据密集型科学发现”(Data-Intensive Scientific Discovery)将成为科学研究的第四范式，科学研究将从实验科学、理论科学、计算科学，发展到目前兴起的数据科学。
为了紧跟全球大数据技术发展的浪潮，我国政府、学术界和工业界对大数据也予以了高度的关注。央视著名“对话”节目2013年4月14日和21日邀请了《大数据时代——生活、工作与思维的大变革》作者维克托·迈尔-舍恩伯格，以及美国大数据存储技术公司LSI总裁阿比分别做客“对话”节目，做了两期大数据专题谈话节目“谁在引爆大数据”、“谁在掘金大数据”，国家央视媒体对大数据的关注和宣传体现了大数据技术已经成为国家和社会普遍关注的焦点。
而国内的学术界和工业界也都迅速行动，广泛开展大数据技术的研究和开发。2013年以来，国家自然科学基金、973计划、核高基、863等重大研究计划都已经把大数据研究列为重大的研究课题。为了推动我国大数据技术的研究发展，2012年中国计算机学会(CCF)发起组织了CCF大数据专家委员会，CCF专家委员会还特别成立了一个“大数据技术发展战略报告”撰写组，并已撰写发布了《2013年中国大数据技术与产业发展白皮书》。
大数据在带来巨大技术挑战的同时，也带来巨大的技术创新与商业机遇。不断积累的大数据包含着很多在小数据量时不具备的深度知识和价值，大数据分析挖掘将能为行业/企业带来巨大的商业价值，实现各种高附加值的增值服务，进一步提升行业/企业的经济效益和社会效益。由于大数据隐含着巨大的深度价值，美国政府认为大数据是“未来的新石油”，对未来的科技与经济发展将带来深远影响。因此，在未来，一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有、控制和运用也将成为国家间和企业间新的争夺焦点。
大数据的研究和分析应用具有十分重大的意义和价值。被誉为“大数据时代预言家”的维克托·迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点和发展思路。他认为：“大数据开启了一次重大的时代转型”，指出大数据将带来巨大的变革，改变我们的生活、工作和思维方式，改变我们的商业模式，影响我们的经济、政治、科技和社会等各个层面。
由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课题。
大数据给传统的计算技术带来了很多新的挑战。大数据使得很多在小数据集上有效的传统的串行化算法在面对大数据处理时难以在可接受的时间内完成计算;同时大数据含有较多噪音、样本稀疏、样本不平衡等特点使得现有的很多机器学习算法有效性降低。因此，微软全球副总裁陆奇博士在2012年全国第一届“中国云/移动互联网创新大奖赛”颁奖大会主题报告中指出：“大数据使得绝大多数现有的串行化机器学习算法都需要重写”。
大数据技术的发展将给我们研究计算机技术的专业人员带来新的挑战和机遇。目前，国内外IT企业对大数据技术人才的需求正快速增长，未来5～10年内业界将需要大量的掌握大数据处理技术的人才。IDC研究报告指出，“下一个10年里，世界范围的服务器数量将增长10倍，而企业数据中心管理的数据信息将增长50倍，企业数据中心需要处理的数据文件数量将至少增长75倍，而世界范围内IT专业技术人才的数量仅能增长1.5倍。”因此，未来十年里大数据处理和应用需求与能提供的技术人才数量之间将存在一个巨大的差距。目前，由于国内外高校开展大数据技术人才培养的时间不长，技术市场上掌握大数据处理和应用开发技术的人才十分短缺，因而这方面的技术人才十分抢手，供不应求。国内几乎所有著名的IT企业，如百度、腾讯、阿里巴巴和淘宝、奇虎360等，都大量需要大数据技术人才。
