研发效能度量的出发点虽然很好,但是如何正确、有效的度量却是一个颇有难度的技术活儿。近期围绕如何进行效能度量的讨论不绝于耳,但如何构建度量的体系化框架、如何进行度量指标的选取、如何进行度量分析、如何进行落地运营,却鲜有文章具体阐述。在这一背景下,张乐老师撰写了《研发效能度量核心方法与实践》系列文章,对以往经验进行了总结和提炼,包括以下内容:
1. 效能度量的难点和反模式
2. 效能度量的行业案例和关键原则
3. 效能度量的实践框架和指标体系设计
4. 效能度量的常用分析方法
5. 效能度量的落地实施建议
以上内容将以五篇连载文章的形式发布,共计超过 3 万字,本文是第四篇。
上一篇文章我们详细介绍了研发效能度量的指标体系设计,并给出了度量指标的全景图。度量指标可以很多,但如何用好这些指标才是关键。
正如 Douglas W. Hubbard 在他的畅销书《How to Measure Anything》中所指出的那样,“如果一种度量真的很重要,那是因为它必须对决策和行为产生一些可以想象的影响。”如果我们不能确定一个度量指标可否影响决策,以及如何改变这些决策,那么这种度量就没有价值。
对于度量指标的分析,下面我们介绍一些常用的方法:
1 趋势分析
趋势比绝对值更能说明问题。
在度量研发效能的指标时,随着时间推移的改善趋势会比绝对值更有意义。每个组织、每个部门、每个团队、每个人都有不同的起点和上下文背景,对度量指标的绝对值进行横向比较很可能有失偏颇。针对每个独立的个体来说,度量其随时间推移的变化趋势更能获取到有效的信息。
举个例子,下图是在某个部门中推进研发效能分析时绘制出来的趋势图。可以看到,在 2022 年 7 月份之前,随着时间的推移,交付周期持续处于上升趋势,即交付需求越来越慢。在进行复盘时,当时的管理者识别到了这一问题,虽然大家工作看起来很繁忙(资源利用率很高),但从业务或客户的角度来看,研发效率的体验却在持续下降(流动效率降低)。于是,当时管理者就决定指派专人负责研发效能的诊断分析和提升工作,对交付周期问题直接进行干预,通过一系列改进措施扭转这个趋势。在图中红圈位置是一个转折点,交付周期在 2022 年 8 月之后有了明显下降,说明所采取的干预措施是有效果的,在度量的指导下发现并处理了问题,最终该部门效能得到了提升。
下图是另外一个趋势分析的案例。这个部门核心的点是线上质量,使用缺陷逃逸率指标来进行度量。可以看到从 2022 年 Q2 到 2022 年 Q3,缺陷逃逸率一直处于下行趋势。但更为重要的是,是采取了什么样的措施和实践才达成了这一目标呢?图中的代码评审覆盖率、单元测试数量和通过率的趋势图正是这一问题的答案。可以看到,因为在背后付出了很多质量内建活动的努力,才让线上缺陷逃逸减少的这一目标得以达成。我们通过趋势分析,看到了多个指标之间的关联性,这种关联性分析方法非常有用,我们将在后文中展开说明。
2 下钻分析
下钻分析可以帮助我们从宏观到微观,从表象到根因逐层排查问题,找到影响效能的瓶颈点。常见的下钻分析包括按阶段下钻(针对交付周期类指标)、按聚合维度进行下钻、按在制品进行下钻等。下面我们来看一些例子。