正常来说我们自动化测试执行完成之后,都会发送一个报告,以便相关人员查看测试情况,但是对于经常运行的用例如果每次去打开测试报告查看测试结果,大家就会慢慢不去关注测试结果,所以现在大多数都会采用简单的测试结果提醒,有问题再去查看详细的报告。

  • 通过企业微信、钉钉、短信等发送推送消息( 常用 )
  • 通过发送邮件

如果 通过企业微信、钉钉、短信等发送推送消息 方式,我们就需要获取当前测试完成后执行情况,在 pytest 框架里面有一个Hooks函数 pytest_terminal_summary 就可以轻松获取到执行报告数据,下面我们来具体讲解一下如何使用。

pytest_terminal_summary 使用

源码: pytest_terminal_summary

def pytest_terminal_summary(
    terminalreporter: "TerminalReporter", exitstatus: "ExitCode", config: "Config",
) -> None:
    """Add a section to terminal summary reporting.
    :param _pytest.terminal.TerminalReporter terminalreporter: The internal terminal reporter object.
    :param int exitstatus: The exit status that will be reported back to the OS.
    :param _pytest.config.Config config: The pytest config object.
    .. versionadded:: 4.2
        The ``config`` parameter.

这个我们需要关注的重点参数为 terminalreporter ,就是测试报告数据对象,由于是hooks函数,所以我们在contest.py里面进行使用.

contest.py示例:

def pytest_terminal_summary(terminalreporter, exitstatus, config):
    print(terminalreporter.__dict__)

这句话的意思就是打印出terminalreporter对象里面的属性、方法,为我们后面获取数据使用

test_summary.py 文件

# !/usr/bin/python3
# _*_coding:utf-8 _*_
# @Time  :2021/7/27 22:31
# @Author  : king
# @File    :test_summary.py
# @Software  :PyCharm
# @blog     :https://blog.csdn.net/u010454117
# @WeChat Official Account: 【测试之路笔记】
import pytest
def test_01():
    print("测试用例 test_01")
    assert 1 == 1
@pytest.mark.skip("跳过用例")
def test_02():
    print("测试用例 test_02")
    assert 1 == 2
def test_03():
    print("测试用例 test_03")
    assert 1 == 2
def test_04():
    print("测试用例 test_04", 1/0)
    assert 1 == 1

在命令行执行 pytest -s test_summary.py ,查看输出结果:

pytest -s test_summary.py
collected 4 items                                                                                                                                                       
{'config': <_pytest.config.Config object at 0x00000277AFC51C88>, '_numcollected': 4, '_session': <Session class_08 exitstatus=<ExitCode.TESTS_FAILED: 1> testsfailed=2 te
stscollected=4>, '_showfspath': None, 'stats': {'': [<TestReport 'test_summary.py::test_01' when='setup' outcome='passed'>, <TestReport 'test_summary.py::test_01' when='
teardown' outcome='passed'>, <TestReport 'test_summary.py::test_02' when='teardown' outcome='passed'>, <TestReport 'test_summary.py::test_03' when='setup' outcome='passe
d'>, <TestReport 'test_summary.py::test_03' when='teardown' outcome='passed'>, <TestReport 'test_summary.py::test_04' when='setup' outcome='passed'>, <TestReport 'test_s
ummary.py::test_04' when='teardown' outcome='passed'>], 'passed': [<TestReport 'test_summary.py::test_01' when='call' outcome='passed'>], 'skipped': [<TestReport 'test_s
ummary.py::test_02' when='setup' outcome='skipped'>], 'failed': [<TestReport 'test_summary.py::test_03' when='call' outcome='failed'>, <TestReport 'test_summary.py::test
_04' when='call' outcome='failed'>]}, '_main_color': 'red', '_known_types': ['failed', 'passed', 'skipped', 'deselected', 'xfailed', 'xpassed', 'warnings', 'error'], 'st
artdir': local('E:\\pytest_demo\\class_08'), 'startpath': WindowsPath('E:/pytest_demo/class_08'), '_tw': <_pytest._io.terminalwriter.TerminalWriter object at 0x00000277B
00BB550>, '_screen_width': 169, 'currentfspath': None, 'reportchars': 'wfE', 'hasmarkup': True, 'isatty': True, '_progress_nodeids_reported': set(), '_show_progress_info
': False, '_collect_report_last_write': 1627400262.0004442, '_already_displayed_warnings': None, '_keyboardinterrupt_memo': None, '_sessionstarttime': 1627400261.9884875
, '_tests_ran': True}
======short test summary info ========================================================================
FAILED test_summary.py::test_03 - assert 1 == 2
FAILED test_summary.py::test_04 - ZeroDivisionError: division by zero
=====2 failed, 1 passed, 1 skipped in 0.06s 

从上述结果我们可以看出来,用例执行结果在stats里面,我们修改一下pytest_terminal_summary方法如下:

def pytest_terminal_summary(terminalreporter, exitstatus, config):
    # print(terminalreporter.__dict__)
    print("total:", terminalreporter._numcollected)  # 获取总用例数,就是 collected 的数量
    print('passed:', len(terminalreporter.stats.get('passed', [])))  # 获取 pass 的case
    print('failed:', len(terminalreporter.stats.get('failed'




    
, [])))  # 获取 failed 的case
    print('error:', len(terminalreporter.stats.get('error', [])))  # 获取 error 的case
    print('skipped:', len(terminalreporter.stats.get('skipped', [])))  # 获取 skipped 的case

再次在命令行执行 pytest -s test_summary.py ,查看输出结果:

(pytest_demo) E:\pytest_demo\class_08>pytest -s test_summary.py
collected 4 items                                                                                                                                                       
test_summary.py 测试用例 test_01
.s测试用例 test_03
total: 4
passed: 1
failed: 2
error: 0
skipped: 1
short test summary info 
========================================================================
FAILED test_summary.py::test_03 - assert 1 == 2
FAILED test_summary.py::test_04 - ZeroDivisionError: division by zero
================================================================ 
2 failed, 1 passed, 1 skipped in 0.05s 
================================================================

目前case未添加前置setup和后置teardown,我们来添加一些,看下执行结果。
contest.py示例:

def pytest_terminal_summary(terminalreporter, exitstatus, config):
    print(terminalreporter.stats)
    print("total:", terminalreporter._numcollected)  # 获取总用例数,就是 collected 的数量
    print('passed:', len(terminalreporter.stats.get('passed', [])))  # 获取 pass 的case
    print('failed:', len(terminalreporter.stats.get('failed', [])))  # 获取 failed 的case
    print('error:', len(terminalreporter.stats.get('error', [])))  # 获取 error 的case
    print('skipped:', len(terminalreporter.stats.get('skipped', [])))  # 获取 skipped 的case
@pytest.fixture()
def set_up():
    print("我是后置操作!", 1/0)
    yield
    print("我是后置操作!", 1/2)
@pytest.fixture()
def tear_down():
    print("我是后置操作!", 1/1)
    yield
    print("我是后置操作!", 1/0)

test_summary.py 文件

# !/usr/bin/python3
# _*_coding:utf-8 _*_
# @Time  :2021/7/27 22:31
# @Author  : king
# @File    :test_summary.py
# @Software  :PyCharm
# @blog     :https://blog.csdn.net/u010454117
# @WeChat Official Account: 【测试之路笔记】
import pytest
def test_01():
    print("测试用例 test_01")
    assert 1 == 1
@pytest.mark.skip("跳过用例")
def test_02():
    print("测试用例 test_02")
    assert 1 == 2
def test_03():
    print("测试用例 test_03")
    assert 1 == 2
def test_04():
    print("测试用例 test_04", 1/0)
    assert 1 == 1
def test_05(set_up):
    print("测试用例 test_05")
def test_06(tear_down):
    print("测试用例 test_06")

再次在命令行执行 pytest -s test_summary.py ,查看输出结果:
执行结果
从执行结果可以看出来,统计的用例结果不正确,总用例是6,但是 passed: 2 failed: 2 error: 2 skipped: 1加起来的个数是7,这个为什么?
分析结果
再根据terminalreporter.stats分析结果:test_summary.py::test_06 在 when='call'when='teardown'都做了统计,基本上用例 when='call'阶段执行成功,代表用例是成功的,teardown 阶段失败或者错误,不影响执行结果。

所以需要修改 pytest_terminal_summary统计方法:

def pytest_terminal_summary(terminalreporter, exitstatus, config):
    # print(terminalreporter.stats)
    # 获取总用例数,就是 collected 的数量
    print("total:", terminalreporter._numcollected)
    # 获取 pass 的case
    print('passed:', len([i for i in terminalreporter.stats.get('passed', [])]))
    # 获取 failed 的case
    print('failed:', len([i for i in terminalreporter.stats.get('failed', [])]))
    # 获取 error 的case
    print('error:', len([i for i in terminalreporter.stats.get('error', []) if i.when != 'teardown']))
    # 获取 skipped 的case
    print('skipped:', len([i for i in terminalreporter.stats.get('skipped', [])]))

再次在命令行执行 pytest -s test_summary.py ,查看输出结果,数据正确,如下图
执行结果

通过企业微信、钉钉、短信推送消息

方案:直接在pytest_terminal_summary下方调用微信、钉钉、短信推送消息的 api 即可实现,具体相应调用实现略。

def pytest_terminal_summary(terminalreporter, exitstatus, config):
    total_case = terminalreporter._numcollected
    pass_case = len([i for i in terminalreporter.stats.get('passed', [])])
    fail_case = len([i for i in terminalreporter.stats.get('failed', [])])
    error_case = len([i for i in terminalreporter.stats.get('error', [])])
    skip_case = len([i for i in terminalreporter.stats.get('skipped', [])])
    pass_rate = round(pass_case / total_case * 100, 2)
    desc = """
    本次执行情况如下:
    总用例数为:{}
    通过用例数:{}
    失败用例数:{}
    错误用例数:{}
    跳过用例数:{}
    通过率为: {} %
    """.format(total_case, pass_case, fail_case, error_case, skip_case, pass_rate)
    # TODO :此处可以调用微信、钉钉、短信相应方法推送消息
    # WeChat.sendMsg(desc)
    # DingDing.sendMsg(desc)
    # SMS.sendMsg(desc)
  • pytest_terminal_summary 使用
  • pytest_terminal_summary 统计报告里面数据的准备度分析及解决

以上为内容纯属个人理解,如有不足,欢迎各位大神指正,转载请注明出处!

如果觉得文章不错,欢迎关注微信公众号,微信公众号每天推送相关测试技术文章
个人微信号

使用Pytest测试框架生成测试报告最常用的便是使用和两款插件了。pytest-html简单(支持单html测试报告),则漂亮而强大。经研究,Hooks方法pytest_terminal_summary及运行完毕生成命令行总结中包含的terminalreporter对象的stats属性中包含我们需要的测试结果统计。使用Pytest的对象自省(或dir(对象) 背景:有时候需要自定义测试报告或者将测试结果发企业微信群聊,这个时候需要对测试结果进行计算统计,但是对拿不到测试结果很苦恼,博主总结了一下两种方式。 pytest 运行用例后会在终端最后一行打印总的运行结果类似于:===== 1 failed, 5 passed in 0.52s ==== 这个运行的接口是可以通过 pytest_terminal_summary 这个hook函数拿到的,拿到后如何给到jenkins发邮件的报告里面呢? pytest_terminal_summary 第一步先拿到pytest运行的测试结果,通过pytest_terminal_summary 这个hook函数 在项目根目录conftest.py文件下写如下代码 import TerminalReporter reporter = TermainalReporter . Reporter ( "StepManager" , "Introducing steps..." ) # who & what # initialize the steps introduction reporter . initialize_stepIntro ( 100 ) # sum of steps for _ in range ( 100 ): reporter . report ( withStepIntro = True ) 输出将如下所示: | StepManager | Introducing 用例执行完成后,我们希望能获取到执行的结果,这样方便我们快速统计用例的执行情况。 也可以把获取到的结果当成总结报告,发邮件的时候可以先统计测试结果,再加上html的报告pytest_terminal_summary 关于TerminalReporter类可以在_pytest.terminal中查看到 from _pytest import terminal pytest_terminal_summary(terminalreporter, exitstatus, config) 最后的结果汇总, pytest_terminal_summary函数,并通过pytest_plugins 变量将该文件作为插件加载到Pytest中 这种方式同样可以实现自定义测试结果汇总逻辑。# 统计测试结果# 输出测试结果到终端在上面的代码中,我们定义了一个“my/_summary.py文件,并在其中定义了 pytest_terminal_summa ry函数。要将该文件作为插件加载到Pytest中,需要在该文件所在目录下创建一个名为$ pytestPassed: 2Failed: 0Skipped: 0。 一般我们在做自动化测试时,测试结束后都会用的发邮件或者钉钉消息,这个时候我们就会可以通过HOOK方法获取测试结果,然后发邮件或者钉钉内容。我们用到的HOOK方法是:pytest... pytest-minihttps://github.com/zx490336534/pytest-mini微信小程序自动化测试pytest插件/工具基于MiniTest进行pytest改造使用方法准备测试小程序根据miniprogram-demo项目介绍运行一次项目成功运行后关闭安装&更新pipinstallpytest-mini--upgrade引入插件新建conftest.py文... Pytest执行用例之后,将结果发企业微信,告知具体用例通过个数和失败个数,并@对应负责人 1、获取Pytest执行的结果 conftest.py中重写pytest_terminal_summary方法 def pytest_terminal_summary(terminalreporter, exitstatus, config): total = terminalreporter._numcollected passed = len(terminalreporter.sta