在对话框中选择程序承诺能够运行的平台,以及被要求遵从的其他标准(标准C和扩展的标准C),点击“OK”按钮,BoundChecker会给出兼容性检测报告。
在某些情况下,我们需要忽略BoundsChecker报告的一些错误,这些情况包括:
1 误报。BoundsChecker 指定程序中的某段代码存在错误,但经过我们的仔细检查,证实程序确实没有这个错误,这是BoundsChecker的误报。工具毕竟是工具,它只能依照为它制定的算法行事,所以会有误报的情形发生。但千万不要轻易认定某一个错误为误报,一定要对错误进行仔细的分析,确定是真正的误报。
2第三方的代码。BoundsChecker指定的错误发生位置在第三方提供的代码中,包括第三方提供的程序库、DLL、OCX等。对于这种情况,我们也要先进行认真的检查,确定不是由于我们错误的使用第三方的代码引起的。如果最后确定不是我们的原因,则这样的错误报告可以忽略。
还有一点需要强调,使用BoundsChecker对程序进行测试时,需要有程序的源代码。如果没有源码,BoundsChecker虽然也可以打开EXE文件将其执行起来,但得出的测试结果经常是不正确的,因此也就没有太大的意义。
另外,除了可以在VC++集成开发环境中使用BoundChecker外,从 [开始菜单] 中启动BoundChecker,然后打开经BoundChecker编译连接生成的可执行文件,也可以对程序进行测试,操作方法与集成到VC++集成开发环境中的BoundChecker的操作方法是一样的,在此就不赘述了。
至此,BoundChecker所提供的功能全部介绍完了。
覆盖率对于测试来说是一项重要的数据。在我们执行了针对一个功能模块的所有测试用例后,非常想了解测试对于模块代码的覆盖情况,也就是测试覆盖率到达了多少,以此来判断测试工作是否可以结束,如果还未达到测试目标,如何进一步补充测试用例。
对于这些问题,如果没有覆盖率统计工具的帮助,而想通过手工来进行,几乎是不可能的。
TrueCoverage的功能就是统计测试覆盖率,它恰好能为我们就上面这个问题提供帮助。TrueCoverage给出的覆盖率是“语句覆盖”,是最低覆盖强度的覆盖率,所以我们测试的项目,用TrueCoverage统计后,应尽量达到100%的覆盖。
TrueCoverage的应用阶段为单元测试阶段和集成测试阶段。
和BoundChecker一样,TrueCoverage安装成功后,在你的VC++集成开发环境中,会多出一个名为TrueCoverage的菜单,如下图所示:
图4-1 TrueCoverage在VC++集成开发环境中添加的菜单
这说明,TrueCoverage已经完好的集成到VC++集成开发环境中了。
下面开始介绍TrueCoverage的具体使用步骤。
TrueCoverage使用步骤:
1 在VC++集成开发环境中,打开你所要测试的项目。
2 为TrueCoverage构造一个文件夹,方法为:
首先,点击[ Build/Configurations...]菜单命令。
其次,在弹出的对话框中点击 Add 按钮。
然后,在Configuration 编辑框中添入你为TrueCoverage创建的文件夹的名称,这个名称是任意的,比如我们叫做TrueCoverage。
最后,在 Copy settings from组合框中选中 XXX—Win32 Debug项,然后点击OK按钮,接着点击Close按钮。
现在,我们已经为TrueCoverage构造好了一个文件夹。
3 点击[Build/Set Active Configuration…] 菜单命令,选中你刚才为TrueCoverage建的文件夹,然后点击OK按钮。
4 选择[TrueCoverage/Rebuild All with TrueCoverage] 菜单命令,用TrueCoverage的编译连接器对程序重新进行编译连接。TrueCoverage对程序进行编译连接时生成的中间文件、可执行程序,会放到你刚才为TrueCoverage创建的文件夹下。在这个编译连接过程中,TrueCoverage向可执行程序中插入了一些信息,这也就是 TrueCoverage能够跟踪、统计测试覆盖率的原因。
5点击[TrueCoverage/Run with TrueCoverage] 菜单命令,TrueCoverage被启动,接着你的程序也被执行起来。现在就可以按照事先已经制定好的测试用例,在程序中逐个进行执行了, TrueCoverage会在后台记录程序的执行覆盖情况。
在TrueCoverage界面中有一个工具条,我们有必要在这里对它做一下说明。如下所示:
图4-2 运行控制工具条
这个工具条在程序运行起来后,会由不可用状态变为可用状态。工具条上各按钮功能为:
按钮1:如果在程序的运行过程中你按下了该按钮,则覆盖率的统计只计算到此,你还可以继续操作程序,但此时对程序的任何操作都不再计入到覆盖率统计中去了。
按钮2:如果在程序的运行过程中你按下了该按钮,则TrueCoverage会马上显示截止到目前为止的测试覆盖率情况。之后你可以继续操作程序,TrueCoverage会继续在后台记录程序的执行覆盖情况。
按钮3:如果在程序的运行过程中你按下了该按钮,则TrueCoverage会清除在这之前的覆盖数据,使各项覆盖率的数据均为零。你可以继续操作,TrueCoverage在后台从零开始重新记录程序的执行覆盖情况。
6 当你退出程序时,TrueCoverage会显示本次操作结束后,程序的执行覆盖情况,包括:整个可执行程序的覆盖情况、每个代码文件的覆盖情况、每个代码文件中每个函数的覆盖情况,对于这些覆盖率统计结果,可以文件的形式进行保存。要想再次执行程序,点击TrueCoverage 中的[Program/ Start]菜单命令即可。
我们不太可能一次执行完所有的测试用例。TrueCoverage 为我们想到了这一点。在我们每次使用TrueCoverage运行起程序,执行了一些用例,关闭程序,并保存这一次的覆盖率统计结果后, TrueCoverage会询问你是否将本次的测试结果合并到总的覆盖率统计结果中去,一般情况下,我们合并进去就可以了。
下面介绍一下TrueCoverage的界面,按图中的编号分别给出说明。
图4-3 TrueCoverage的运行界面
1:表示程序在某一次执行结束后的测试覆盖情况。双击某一个条目,会在3、4部分的窗口中显示关于本次覆盖率的详细信息。本图中的情况,表示测试人员执行了两次程序。
2:表示程序当前总的测试覆盖情况,是多个1合并后的结果。双击该条目,会在3、4部分的窗口中显示关于总覆盖率的详细信息。
3:该窗口中显示的数据与你当前选中的某一次或总的测试覆盖统计结果相对应(即前面说到的1、2)。该窗口中显示的数据包括:程序的覆盖率、每个代码文件的覆盖率。更详细的信息显示在窗口4中。
4:该窗口中显示的数据与你在窗口3中的选择相对应,显示了各个函数的测试覆盖情况。用鼠标双击某一个函数,会显示该函数的源代码,TrueCoverage用不同的颜色标识执行过的和未被执行过的代码,如下图所示:
图4-4 TrueCoverage用不同颜色标识执行过的和未被执行过的代码
TrueCoverage 默认情况下,用绿色代表已执行的代码,用红色代表未被执行的代码,用黑色代表不可执行的代码(你可以通过选择TrueCoverage的 [program/setting]菜单命令,在启动的对话框中的setting标签页中进行设置,来改变这种默认情况)。通过这些信息,我们可以有针对性的增加、修改用例,来提高测试覆盖率。
内联函数虽然具有函数的形式,但其机制与函数完全不同,所以,在用TrueCoverage统计测试覆盖率时,对内联函数需要采用不同的处理方式。
默认情况下,TrueCoverage是不会统计内联函数的执行覆盖率的。如果你需要得到内联函数的覆盖率数据,则需要进行一些额外的设置,具体方法是,在VC++的集成环境中选择[TrueCoverage/TrueCoverage Setting...]菜单命令,弹出如下对话框:
图4-5 内联函数设置
选中“Instrument inline function”复选框,点击OK。
然后选择[TrueCoverage/Rebuild All with TrueCoverage] 菜单命令,重新进行编译连接,对于这个可执行程序,TrueCoverage在其执行过程中就能够记录内联函数的覆盖率数据了。
TrueCoverage与BoundsChecker可以结合起来使用。在[BoundsChecker]和[TrueCoverage]菜单下,都有一个[Rebuild with BoundsChecker and TrueCoverage]项,通过这一菜单命令编译连接生成的可执行文件,在程序运行结束后,能同时得到TrueCoverage和BoundsChecker(FinalCheck)的检测结果。
但这里有一个限定,那就是:必须由BoundChecker打开该exe程序执行,或是在VC++集成开发环境中通过Debug来运行该exe。这样在执行完程序后,能同时得到TrueCoverage和BoundsChecker(FinalCheck)的检测结果,如果你通过TrueCoverage来执行程序,则只会得到TrueCoverage检测结果。这一点请注意。
与BoundsChecker一样,要使用TrueCoverage,一定要有被测程序的源代码。如果没有源码,TrueCoverage无法统计覆盖率。
除了可以在VC++的集成环境中使用TrueCoverage外,从 [开始菜单] 中启动TrueCoverage,然后打开经TrueCoverage编译连接生成的可执行文件,也可以进行覆盖率的统计,操作方法与集成到VC++集成开发环境中的TrueCoverage的操作方法一样,在此不再赘述。
TrueCoverages的使用介绍到此结束了,该工具对于我们进行测试覆盖率统计、补充测试用例的工作很有用处。