正常来说我们自动化测试执行完成之后,都会发送一个报告,以便相关人员查看测试情况,但是对于经常运行的用例如果每次去打开测试报告查看测试结果,大家就会慢慢不去关注测试结果,所以现在大多数都会采用简单的测试结果提醒,有问题再去查看详细的报告。
-
通过企业微信、钉钉、短信等发送推送消息(
常用
)
-
通过发送邮件
如果
通过企业微信、钉钉、短信等发送推送消息
方式,我们就需要获取当前测试完成后执行情况,在
pytest
框架里面有一个Hooks函数
pytest_terminal_summary
就可以轻松获取到执行报告数据,下面我们来具体讲解一下如何使用。
源码:
pytest_terminal_summary
def pytest_terminal_summary(
terminalreporter: "TerminalReporter", exitstatus: "ExitCode", config: "Config",
) -> None:
"""Add a section to terminal summary reporting.
:param _pytest.terminal.TerminalReporter terminalreporter: The internal terminal reporter object.
:param int exitstatus: The exit status that will be reported back to the OS.
:param _pytest.config.Config config: The pytest config object.
.. versionadded:: 4.2
The ``config`` parameter.
这个我们需要关注的重点参数为 terminalreporter ,就是测试报告数据对象,由于是hooks函数,所以我们在contest.py里面进行使用.
contest.py示例:
def pytest_terminal_summary(terminalreporter, exitstatus, config):
print(terminalreporter.__dict__)
这句话的意思就是打印出terminalreporter对象里面的属性、方法,为我们后面获取数据使用
test_summary.py 文件
# @Time :2021/7/27 22:31
# @Author : king
# @File :test_summary.py
# @Software :PyCharm
# @blog :https://blog.csdn.net/u010454117
# @WeChat Official Account: 【测试之路笔记】
import pytest
def test_01():
print("测试用例 test_01")
assert 1 == 1
@pytest.mark.skip("跳过用例")
def test_02():
print("测试用例 test_02")
assert 1 == 2
def test_03():
print("测试用例 test_03")
assert 1 == 2
def test_04():
print("测试用例 test_04", 1/0)
assert 1 == 1
在命令行执行 pytest -s test_summary.py ,查看输出结果:
pytest -s test_summary.py
collected 4 items
{'config': <_pytest.config.Config object at 0x00000277AFC51C88>, '_numcollected': 4, '_session': <Session class_08 exitstatus=<ExitCode.TESTS_FAILED: 1> testsfailed=2 te
stscollected=4>, '_showfspath': None, 'stats': {'': [<TestReport 'test_summary.py::test_01' when='setup' outcome='passed'>, <TestReport 'test_summary.py::test_01' when='
teardown' outcome='passed'>, <TestReport 'test_summary.py::test_02' when='teardown' outcome='passed'>, <TestReport 'test_summary.py::test_03' when='setup' outcome='passe
d'>, <TestReport 'test_summary.py::test_03' when='teardown' outcome='passed'>, <TestReport 'test_summary.py::test_04' when='setup' outcome='passed'>, <TestReport 'test_s
ummary.py::test_04' when='teardown' outcome='passed'>], 'passed': [<TestReport 'test_summary.py::test_01' when='call' outcome='passed'>], 'skipped': [<TestReport 'test_s
ummary.py::test_02' when='setup' outcome='skipped'>], 'failed': [<TestReport 'test_summary.py::test_03' when='call' outcome='failed'>, <TestReport 'test_summary.py::test
_04' when='call' outcome='failed'>]}, '_main_color': 'red', '_known_types': ['failed', 'passed', 'skipped', 'deselected', 'xfailed', 'xpassed', 'warnings', 'error'], 'st
artdir': local('E:\\pytest_demo\\class_08'), 'startpath': WindowsPath('E:/pytest_demo/class_08'), '_tw': <_pytest._io.terminalwriter.TerminalWriter object at 0x00000277B
00BB550>, '_screen_width': 169, 'currentfspath': None, 'reportchars': 'wfE', 'hasmarkup': True, 'isatty': True, '_progress_nodeids_reported': set(), '_show_progress_info
': False, '_collect_report_last_write': 1627400262.0004442, '_already_displayed_warnings': None, '_keyboardinterrupt_memo': None, '_sessionstarttime': 1627400261.9884875
, '_tests_ran': True}
======short test summary info ========================================================================
FAILED test_summary.py::test_03 - assert 1 == 2
FAILED test_summary.py::test_04 - ZeroDivisionError: division by zero
=====2 failed, 1 passed, 1 skipped in 0.06s
从上述结果我们可以看出来,用例执行结果在stats里面,我们修改一下pytest_terminal_summary方法如下:
def pytest_terminal_summary(terminalreporter, exitstatus, config):
print("total:", terminalreporter._numcollected)
print('passed:', len(terminalreporter.stats.get('passed', [])))
print('failed:', len(terminalreporter.stats.get('failed'
, [])))
print('error:', len(terminalreporter.stats.get('error', [])))
print('skipped:', len(terminalreporter.stats.get('skipped', [])))
再次在命令行执行 pytest -s test_summary.py ,查看输出结果:
(pytest_demo) E:\pytest_demo\class_08>pytest -s test_summary.py
collected 4 items
test_summary.py 测试用例 test_01
.s测试用例 test_03
total: 4
passed: 1
failed: 2
error: 0
skipped: 1
short test summary info
========================================================================
FAILED test_summary.py::test_03 - assert 1 == 2
FAILED test_summary.py::test_04 - ZeroDivisionError: division by zero
================================================================
2 failed, 1 passed, 1 skipped in 0.05s
================================================================
目前case未添加前置setup和后置teardown,我们来添加一些,看下执行结果。
contest.py示例:
def pytest_terminal_summary(terminalreporter, exitstatus, config):
print(terminalreporter.stats)
print("total:", terminalreporter._numcollected)
print('passed:', len(terminalreporter.stats.get('passed', [])))
print('failed:', len(terminalreporter.stats.get('failed', [])))
print('error:', len(terminalreporter.stats.get('error', [])))
print('skipped:', len(terminalreporter.stats.get('skipped', [])))
@pytest.fixture()
def set_up():
print("我是后置操作!", 1/0)
yield
print("我是后置操作!", 1/2)
@pytest.fixture()
def tear_down():
print("我是后置操作!", 1/1)
yield
print("我是后置操作!", 1/0)
test_summary.py 文件
# @Time :2021/7/27 22:31
# @Author : king
# @File :test_summary.py
# @Software :PyCharm
# @blog :https://blog.csdn.net/u010454117
# @WeChat Official Account: 【测试之路笔记】
import pytest
def test_01():
print("测试用例 test_01")
assert 1 == 1
@pytest.mark.skip("跳过用例")
def test_02():
print("测试用例 test_02")
assert 1 == 2
def test_03():
print("测试用例 test_03")
assert 1 == 2
def test_04():
print("测试用例 test_04", 1/0)
assert 1 == 1
def test_05(set_up):
print("测试用例 test_05")
def test_06(tear_down):
print("测试用例 test_06")
再次在命令行执行 pytest -s test_summary.py ,查看输出结果:

从执行结果可以看出来,统计的用例结果不正确,总用例是6,但是 passed: 2 failed: 2 error: 2 skipped: 1加起来的个数是7,这个为什么?

再根据terminalreporter.stats分析结果:test_summary.py::test_06 在 when='call' 和 when='teardown'都做了统计,基本上用例 when='call'阶段执行成功,代表用例是成功的,teardown 阶段失败或者错误,不影响执行结果。
所以需要修改 pytest_terminal_summary统计方法:
def pytest_terminal_summary(terminalreporter, exitstatus, config):
print("total:", terminalreporter._numcollected)
print('passed:', len([i for i in terminalreporter.stats.get('passed', [])]))
print('failed:', len([i for i in terminalreporter.stats.get('failed', [])]))
print('error:', len([i for i in terminalreporter.stats.get('error', []) if i.when != 'teardown']))
print('skipped:', len([i for i in terminalreporter.stats.get('skipped', [])]))
再次在命令行执行 pytest -s test_summary.py ,查看输出结果,数据正确,如下图

方案:直接在pytest_terminal_summary下方调用微信、钉钉、短信推送消息的 api 即可实现,具体相应调用实现略。
def pytest_terminal_summary(terminalreporter, exitstatus, config):
total_case = terminalreporter._numcollected
pass_case = len([i for i in terminalreporter.stats.get('passed', [])])
fail_case = len([i for i in terminalreporter.stats.get('failed', [])])
error_case = len([i for i in terminalreporter.stats.get('error', [])])
skip_case = len([i for i in terminalreporter.stats.get('skipped', [])])
pass_rate = round(pass_case / total_case * 100, 2)
desc = """
本次执行情况如下:
总用例数为:{}
通过用例数:{}
失败用例数:{}
错误用例数:{}
跳过用例数:{}
通过率为: {} %
""".format(total_case, pass_case, fail_case, error_case, skip_case, pass_rate)
- pytest_terminal_summary 使用
- pytest_terminal_summary 统计报告里面数据的准备度分析及解决
以上为内容纯属个人理解,如有不足,欢迎各位大神指正,转载请注明出处!
如果觉得文章不错,欢迎关注微信公众号,微信公众号每天推送相关测试技术文章

使用Pytest测试框架生成测试报告最常用的便是使用和两款插件了。pytest-html简单(支持单html测试报告),则漂亮而强大。经研究,Hooks方法pytest_terminal_summary及运行完毕生成命令行总结中包含的terminalreporter对象的stats属性中包含我们需要的测试结果统计。使用Pytest的对象自省(或dir(对象)
背景:有时候需要自定义测试报告或者将测试结果发送到企业微信群聊,这个时候需要对测试结果进行计算统计,但是对拿不到测试结果很苦恼,博主总结了一下两种方式。
pytest 运行用例后会在终端最后一行打印总的运行结果类似于:===== 1 failed, 5 passed in 0.52s ====
这个运行的接口是可以通过 pytest_terminal_summary 这个hook函数拿到的,拿到后如何给到jenkins发邮件的报告里面呢?
pytest_terminal_summary
第一步先拿到pytest运行的测试结果,通过pytest_terminal_summary 这个hook函数
在项目根目录conftest.py文件下写如下代码
import TerminalReporter
reporter = TermainalReporter . Reporter ( "StepManager" , "Introducing steps..." ) # who & what
# initialize the steps introduction
reporter . initialize_stepIntro ( 100 ) # sum of steps
for _ in range ( 100 ):
reporter . report ( withStepIntro = True )
输出将如下所示:
| StepManager | Introducing
用例执行完成后,我们希望能获取到执行的结果,这样方便我们快速统计用例的执行情况。
也可以把获取到的结果当成总结报告,发邮件的时候可以先统计测试结果,再加上html的报告。
pytest_terminal_summary
关于TerminalReporter类可以在_pytest.terminal中查看到
from _pytest import terminal
pytest_terminal_summary(terminalreporter, exitstatus, config)
最后的结果汇总,
pytest_terminal_summary函数,并通过pytest_plugins 变量将该文件作为插件加载到Pytest中 这种方式同样可以实现自定义测试结果汇总逻辑。# 统计测试结果# 输出测试结果到终端在上面的代码中,我们定义了一个“my/_summary.py文件,并在其中定义了 pytest_terminal_summa ry函数。要将该文件作为插件加载到Pytest中,需要在该文件所在目录下创建一个名为$ pytestPassed: 2Failed: 0Skipped: 0。
一般我们在做自动化测试时,测试结束后都会用的发送邮件或者钉钉消息,这个时候我们就会可以通过HOOK方法获取测试结果,然后发送邮件或者钉钉内容。我们用到的HOOK方法是:pytest...
pytest-minihttps://github.com/zx490336534/pytest-mini微信小程序自动化测试pytest插件/工具基于MiniTest进行pytest改造使用方法准备测试小程序根据miniprogram-demo项目介绍运行一次项目成功运行后关闭安装&更新pipinstallpytest-mini--upgrade引入插件新建conftest.py文...
Pytest执行用例之后,将结果发送到企业微信,告知具体用例通过个数和失败个数,并@对应负责人
1、获取Pytest执行的结果
conftest.py中重写pytest_terminal_summary方法
def pytest_terminal_summary(terminalreporter, exitstatus, config):
total = terminalreporter._numcollected
passed = len(terminalreporter.sta