什么是大数据？
大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色。
大数据测试类型
测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。
在大数据测试中，QA工程师数据处理可以是三种类型：批量、实时、交互。
与此同时，数据质量也是大数据测试的一个重要因素。它涉及检查各种字段，如准确性，重复，一致性，有效性，数据完整性等。
大数据测试步骤
下图给出了测试大数据应用程序阶段的高级概述：
大数据测试实现被分成三个步。
1：数据阶段验证
♦ 来自各方面的数据资源应该被验证，来确保正确的数据被加载进系统
♦ 将源数据与推送到Hadoop系统中的数据进行比较，以确保它们匹配
♦ 验证正确的数据被提取并被加载到HDFS正确的位置
该阶段可以使用工具Talend或Datameer，进行数据阶段验证。
Step 2："MapReduce"验证
在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：
♦ Map与Reduce进程正常工作
♦ 在数据上实施数据聚合或隔离规则
♦ 生成键值对
♦ 在执行Map和Reduce进程后验证数据
Step 3：输出阶段验证
生成输出数据文件，同时把文件移到一个EDW(企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：
♦ 检查转换规则被正确应用
♦ 检查数据完整性和成功的数据加载到目标系统中
♦ 通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏
大数据测试完整流程
遵循：需求调研+分析---->测试策略计划制定---->测试用例编写--->执行测试----->线上验证测试----->测试总结的流程。
1、需求调研+分析
测试若不清楚需求的背景现状是无法真正做好测试、保证产品质量的。
需求分析的越透彻，后续的工作就越顺利。这个步骤是需要产品、开发、测试相互补充辅助完成。
2、测试策略计划制定
通过开发的技术架构评审会，测试会了解开发的架构逻辑，表结构设计，开发排期，从而制定测试策略方法，测试重点，测试工具选用，测试排期，风险预估等
3、编写及评审测试用例
测试用例需要覆盖所有的测试场景：
正常的，异常的、功能逻辑的，接口的、性能的等等.
测试用例的目的：
从来就是为了更好执行测试，更好的保证执行测试时的高覆盖率和高通过率，绝对不是为了写用例而写用例。
测试工具的选择遵循两个重要标准：
（1）清晰展现测试思路和逻辑
（2）方便快速评审及执行测试。
目前我们所使用的的用例管理工具是matrix+easytest+freemind+excel，根据不同的需求场景，选择不同的工具。
4、用例执行测试
执行测试包括两部分：
第一部分：每周平均两次的迭代版本测试，这种类型的执行测试以手工测试为主工具为辅。
第二部分：定期执行部分, 主要依赖工具执行。用来做web、接口的功能测试和性能测试，包括selenium+git+idea、easytest、jmeter、beyondcompare这类工具分别设置了不同的执行周期，定期的进行全产品线的回归测试，进一步保证产品功能逻辑及接口功能的正确及可用性。
5、线上验收测试
上线后，第一时间针对上线更新内容进行线上回归测试，并且快速反馈给开发和产品，做出决策；上线验证完成后，根据实际上线结果向项目所有成员发送上线测试报告;
6、测试总结
包括：文档整理、技术总结、项目概况综述。
文档整理
针对项目所涉及的环境数据、业务数据等实际场景做项目后的总结整理。
技术总结
主要是针对项目中用到的工具技术，所遇到的难点或新的突破和改进。
项目概况综述
包括需求覆盖率、需求遗漏变更率、开发自测通过率、开发bug反复率、用例覆盖率、问题遗漏率、项目bug类型及数量统计等。
总结：
万变不离其宗，不论是什么测试ta的主流程基本都是一样的，就是我们刚开始学习测试的那一套流程。也许你会觉得简单，但你要明白，无规不成方圆，有时候没有推行好或者结果不好不一定是因为技术不行，也许是没有好的流程。就好像，一辆汽车的生产，如果没有好的流程你觉得最终出来的汽车质量会好吗？
很多东西不会立马就明白，大数据测试也是一样，先做了解和记忆，等后续随着知识的积累自然就明白了，学习就是这样的，需要一个过程，不能太强求。
关注51Testing软件测试网，提升it技能，从不会到熟练只差一步。
欢迎加入 51软件测试大家庭，在这里你将获得【最新行业资讯】，【免费测试工具安装包】，【软件测试技术干货】，【面试求职技巧】... 51与你共同学习，一起成长！期待你的加入： QQ 群： 755431660