更多的测试人员,更多的报酬
关于 ai 与测试的讨论现在逐渐流行起来,目前看来观点基本是积极和激进的,大多数人认为 ai 会重新塑造测试行业,不过基于 ai 的测试探索目前看来还是有限的,我稍微总结了一下,大概分为两类。
- 利用大语言模型的推理能力进行驱动的自动化工具;这个之前的文章已经介绍过一些了,有兴趣的同学可以翻一下之前的存档;
- 对融合了 ai 功能的软件产品进行测试。推荐大家研究一下这篇文章,里面的一些标准步骤还是让人备受启发的。https://blog.scottlogic.com/2023/11/14/testing-LLM-based-applications-strategy-and-challenges.html。这些测试大多是对prompt的安全,边界条件以及输出的稳定性进行测试。
就这个时间节点看来,ai 在测试领域上的应用其实不算太多。另外目前对于大模型本身的测试工作也基本是众测模式,模型提供商经过基本的 fine tuning 和测试之后发布模型或者提供 api 接口,通过使用者的反馈来持续的改进模型,基本上走的是强化学习的路子,对模型的测试不依赖于测试行为,而依赖于更多样性的标记数据,所以哪家大模型能跑出来其实就是看哪家的显卡多和数据多。
最近看到一篇非常积极拥抱 ai 的测试文章,里面的观点基本没有数据佐证,先不去讨论正确与否,不过文章确实传递出了一种很强烈的乐观信号,因为这篇文章认为 ai 会带来更多的测试岗位和更高的报酬。下面是对这篇文章的翻译,https://jarbon.medium.com/ai-more-testers-more-money-045e1a34741d。先提前说明,对这种观点我持谨慎的乐观态度,尽管我一直认为从事ai其实跟我们当年做黑盒测试差不多,不过下文的描述在短期看来还是比较难达成的,未来是什么样确实比较难以预测,所以不如积极投身其中去创造未来吧。
下面是原文的翻译:
AI 裂变正在迅速到来。AI 将在软件测试领域创造新的有和无。将 AI 引入软件测试将改变测试人员、供应商和工具的工作方式。但是,这种变化不会如大多数人所担心或梦想的那样。声称 AI 很快就会简单地取代人工测试人员的工作是错误的。希望 AI 无法足够聪明地完成大部分测试工作也是错误的。将会有更多的测试工作,并且它们很快将得到更高的报酬。在这个过渡中,有些人会失去工作,但这取决于他们自己。只有思想开放、乐观的测试人员才能在这个过渡中生存下来,并且他们将得到丰厚的工作保障和报酬。
AI 对测试工作的影响
在短期内,AI 不会减少测试工作的数量 - 对测试人员的需求将会增加。许多测试人员担心 AI 会消灭他们的工作 - 这对大多数人来说是不真实的。应用 AI 于工作的“AI 辅助”测试人员将更加高效。那些能够迅速做到这一点的人将获得最多的工作保障、进步和回报。
在 10 亿美元以上的测试领域中,最大的问题可能是如何衡量价值。工程团队知道他们需要测试,但很难量化,而事实是,大多数测试工作在今天没有 AI 的情况下几乎没有什么用处。当测试人员得到 AI 的辅助时,测试人员的速度、范围和价值将增长到明显的价值点。目前,大多数软件测试仅仅涵盖基本功能和一些边缘情况,成本高昂,并拖慢了工程团队的进展。
然而,AI 辅助测试将赋予这些人类测试人员“超能力”,他们的贡献将是压倒性的明显。正如测试领域的一位朋友上周所描述的那样 - 不久之后,测试人员将穿戴 AI-“钢铁侠”装备。企业将希望增加更多的 AI 测试人员,因为他们终于看到了明显的积极回报。这些 AI 辅助测试人员将足够快,以便在当前的开发周期内发挥作用,给人足够的信心进行发布,发现对业务有影响的问题,并揭示仍待测试的内容。对于 AI 辅助测试人员的需求将增加,因为他们将为企业增加明显的价值 - 就像开发人员增加功能和修复错误一样。
AI 还意味着开发人员正在创建更多的软件。AI 辅助工程师的加速是非常真实的,而且 AI 也意味着更多的人可以创建软件。所有这些新软件都需要由更多经过 AI 增强的测试人员进行测试。