Tempest 简介

Tempest是一个旨在为OpenStack 提供集成功能测试的开源项目,包含了OpenStack基本组件(nova,keystone,glance,neutron,cinder等)的测试用例,同时支持json,xml两种rest api格式类型的测试,以及cli测试。它是基于unittest2和nose测试框架实现的,灵活且易于扩展及维护,使得OpenStack相关测试效率得到大幅提升。

Rocky版本功能变更一览

Tempest目前最新版本号为v19.0.0,它支持对OpenStack的Rocky,Queens,Pike 和Ocata版本的测试,在刚发布的OpenStack Rocky版本中,它的功能变更如下:

  • 新增v3-ext/os-endpoint-policy api,支持服务endpoint和访问权限关联的测试。
  • V3 services_client中新增enable_service,disable_sevice,disable_log_reason,freeze_host 和thaw_host api endpoint。
  • Tempest.lib.decorators.related_bug 和 tempest.lib.decorators. skip_because中新增参数bug_type,用来跟踪测试bug。
  • 新增update flavor api。
  • 新增keystone 的application credentials interface 测试。
  • Identity v3 库里新增projects_tags_client api,可实现对项目tag功能的测试,如update_project_tag,list_project_tags,update_all_project_tag,check_project_tag_existence,delete_project_tag,delete_all_project_tags。
  • Compute library 里新增update_service api,原/os-services/disable,/os-services/disable-log-reason,/os-services/enable, /os-services/force-down变更为disable_sevice,disable_log_reason,enable_service,update_force_down。
  • Config中新增vnc_server_header配置项,vnc服务的名字可以显示在响应头部。
  • V3 api 里新增volume v3 api,并且volume测试默认api从V2变更为V3。
  • Cinder 命令行选项–endpoint-type 变更为–os-endpoint-type。
  • Config文件配置项allow_tenant_isolation 变更为use_dynamic_credentials。

Tempest 代码结构

Tempest 项目会被来自不同公司的社区成员更新:修改bug,完善功能,增加对OpenStack 最新功能的测试用例等等。它的大致目录结构如下:

├──tempest

├──api                 #api的测试集。

├──compute                 #os nova 相关测试

├──identity                  #os keystone 相关测试

├──network                  #osnetwork相关测试

├──image.                  #os glance 相关测试

├──volume                 #os cinder 相关测试

├──object_storage           #os swift 相关测试

├──cmd                 #openstack 命令行工具测试集。

├──common            #一些公共的工具类和函数。

├──scenario             #对openstack 的常用场景进行测试,包括基本的vm启动等。

├──services             #tempest 自己实现的openstack api client。

它的代码结构如图所示:

Tempest 测试过程

在准备Tempest测试环境之前,需要先准备好被测试的OpenStack(OS)环境。

安装

git clone git://git.openstack.org/openstack/tempest

cd tempest

pip install -r requirements.txt -c test-requirements

python tempest/setup.py install

初始化

确定测试环境目录(/opt),在/opt下执行

tempest init tempest-test

会生成tempest-test 测试文件夹,文件夹结构如下:

├── etc

│   ├── tempest.conf

│   └── tempest.conf.sample

├── logs

└── tempest_lock

修改配置文件tempest-test/etc/tempest.conf

Tempest.conf主要分为以下session,它们要和测试的OS环境匹配。

[auth]:os环境admin用户登录信息。

[identity]: 主要包括user/tenant 相关的权限认证测试。

[compute]: 主要包括os compute api/cli相关测试。

[whitebox]: 主要包括查看nova数据库状态,ssh到虚拟机中查看状态等。

[image]:主要包括os镜像api/cli 相关测试。

[network]: 主要包括os网络api/cli 相关测试。

[volume]: 主要包括os cinder 存储。

执行测试

Tempest 会查找目录下所有以(T)test开头的python源文件,并且按此规则递归查找子目录,(T)test开头的python源文件中所有以(T)test开头的function(测试用例)都会被执行;它可以指定文件,模块,函数进行测试,也可以指定类型进行测试。

  • 执行所有测试

tempest run

  • 并发测试

tempest run  –parallel

  • 执行某一函数测试用例

tempest run tempest.api.compute.servers.test_servers_negative.ServersNegativeTestJSON.test_reboot_non_existent_server

  • 执行某一文件测试用例

tempest run tempest.api.compute.servers.test_servers_negative

测试结果

Tempest的测试结果有四种,测试错误(error),测试失败(failure),跳过(skip),成功(success)。

–测试错误:可以理解成测试代码或者配置环境有问题,在执行时报错。

–测试失败:可以理解测试代码执行正常,但没有得到预期的测试结果。

–跳过:也可以理解为测试忽略,比如某个测试只想在window下才运行,这样在linux就会跳过,也就是忽略。

–成功: 测试代码执行正常,也得到预期的测试结果。