1. 可执行指标VS虚荣指标

要深入了解一套好的衡量指标的重要性,让我们参考一下在线教学网站Grockit的例子。网站创始人法布德·尼维(Farbood Nivi)在两家大型营利性教育机构——普林斯顿教育咨询(Princeton Review)和楷博教育(Kaplan)做过十几年教师,帮助学生备考标准化考试,比如经企管理研究生入学考试(GMAT)、法学院入学考试(LSAT)和学术能力评估测试(SAT)。他富有魅力的教学风格不仅赢得学生的赞誉,也不断获得上司的赏识和提拔,还曾获颁普林斯顿教育咨询的年度全国教师。但是法布德并不满足于这些机构的传统教学方式。每天给几千个学生授课6~9个小时的丰富经历,让他有很多机会尝试新的方式。2

法布德在一段时间后得出结论,传统讲课教育模式使用的一对多教学法,这对学生而言是不够的。他开发了一种更好的方法,把以教师为主的讲课、个人家庭作业和小组学习结合起来。让法布德特别感兴趣的是学生们结伴的小组学习方式,对学生非常有效。他们互相帮助,教学相长。首先,他们能得到同伴针对性的讲授,不像老师那样让人生畏。其次,他们也可以在教导同学的同时,加强自己的学习。此后,法布德的课堂逐渐社群化,并取得了成功。

随着这些事情的发生,法布德越来越觉得坐在课堂里不是那么重要。他由此产生了一个重要的联想:“我的课堂里使用了社群学习模式,而这类社群社交活动在网上到处都是。”他的想法是,推广社群化的结伴学习方法,让无力负担楷博或普林斯顿的高价课程或更昂贵的私人教师课程的学生受益。Grockit就是在这个愿景下诞生的。

法布德这样解释道,“不管你是在准备SAT还是学习代数,你无非是在使用以下这三种学习方式中的一种:花时间跟专家学、自己学或者跟同伴一起学。Grockit就提供了这三种学习形式。我们所做的是运用技术和运算来加以优化。”

法布德是一个典型的创业梦想家,他这样描述他最初的想法:“让我们忘记到目前为止的教育方式,忘记什么才是可能的。想一想今天的学生和今天的技术,重新计划如何学习。尽管在教育界有很多身价几十亿美元的机构,但我不认为他们像大家希望的那样有所创新,而且我也不认为我们还需要他们。对我而言,一切应该以学生为本,我觉得学生们并没有获得他们应得的服务。”

如今的Grockit提供多种不同教育产品,但在最初,法布德使用的是精益创业的方式。Grockit开发了一个最小化可行产品,它仅仅是法布德通过热门在线网站会议工具“网迅易通”(WebEx)讲授如何作考前准备。他没有开发定制软件,也没用新技术。法布维只是尝试通过互联网把他的新教学方式带给学生。关于法布德的新式私人教学的新闻不胫而走,几个月后,他在网上教学的月收入就达到了可观的10000~15000美元。但是,法布德和很多有雄心壮志的创业者一样,他开发最小化可行产品的目的不仅只为了过日子。他憧憬着为各地学生提供更深入协作的、更有效的教学方式。法布德凭着初期的成绩,从硅谷最有声望的投资人那里筹措到了资金。

当我第一次遇见到法布德的时候,他的公司已经走在了成功的快车道上。他们从有名的投资人那里获得了创业资金,建立了强大的团队,并且刚刚在硅谷著名的新创企业评比中完成一场令人印象深刻的首发仪式。

他们非常注重流程,而且严谨自律。法布德的公司和位于旧金山的枢纽实验室(Pivotal Labs)合作,遵照敏捷开发方式中的一种严格形式,称为极限编程(下文予以叙述)进行产品开发。他们的早期产品被媒体盛赞为“一大突破”。

Grockit是一个非常典型的案例。它的问题并非执行不力或不够自律,而是看不到使用产品的顾客有足够的增长。

根据敏捷开发的标准做法,Grockit的工作是按一系列的“冲刺阶段”(Sprints)展开的,每个阶段即为一个30天的迭代周期。每个周期中,法布德会写出一系列的“用户故事”(一种从敏捷开发中借鉴的技巧),对那个月里要做的工作按轻重缓急排序。法布德的“故事”是从顾客的观点描述产品功能特性,而不是用技术术语描述新功能的规格明细。这样的“故事”能帮助工程师在产品开发过程中关注顾客的认知。

每个产品功能特性都用简明的语言表述,不管你有没有技术背景都能读懂。根据标准的敏捷开发方式,法布德在任何时候都能随意重新排列工作的优先顺序。随着他对顾客需求的深入了解,他可以在有待撰写的故事列表,即所谓“产品列表”中,变动工作内容。这种方式有利于调整开发方向,唯一的局限是不能打断已经进入流程的工作。所幸的是,每次故事撰写的工作批量(我将在第九章中详述)很短,仅为一两天。

这个系统之所以称为敏捷开发是有充分道理的:使用它的团队能迅速改变方向,轻装上阵,并且快速响应产品负责人的业务改变需要。这个负责人就是安排故事优先顺序的流程经理,在这个案例中的负责人是法布德。

团队在每个冲刺阶段结束之时感觉如何?他们不断完成新的产品功能。他们以记录和访谈的形式收集顾客反馈,来说明至少有一些顾客是喜欢新功能的。总会有一部分数据显示出改善:或许是顾客总数增加了,或许学生回答问题的总数增加了,又或许是回头客的数量增加了。

但我觉得,法布德和他的团队对公司的总体进展有所疑虑。增长的数字是否真的由产品开发促成?还是出于其他原因,比如报刊上对Grockit的报道?当我和团队成员开会的时候,我问了一个简单的问题:你怎么知道法布德排列的优先顺序真的有道理?

他们回答说:“这不是我们部门的事。法布德作出决定,我们负责执行。”

那时候,Grockit只专注一个顾客细分市场:正在准备GMAT报考商学院的学生。他们的产品让备考同一门考试的学生能加入网上学习班。该产品确实奏效:在Grockit完成学业的学生获得了比他们以前高得多的分数。但是Grockit被一个在新创企业看来是老生常谈的问题困扰着:我们怎么知道优先排列哪种产品功能?如何让更多顾客注册和购买?怎么把产品宣传出去?

我问法布德的问题是:“你对自己排列优先顺序的正确性有多大的把握?”法布德和多数新创企业的创始人一样,看的是手头已有的数据,然后尽量作出最合理的猜测。但这就留下了很多模糊和疑问的空间。

法布德坚信自己的理想,但他开始质疑公司是否能跟上实现愿景的脚步。产品每天都在改进,而法布德希望可以确定这些改进对顾客是有意义的。我认为他能想到这一点很不简单。法布德和其他梦想家不同的是,他没有不管不顾、死抱着最初的理想不放,而愿意把理想放诸实验之中。

法布德努力维系着团队的信念,相信Grockit一定会成功。他担心一旦团队成员知道掌舵人对前进方向举棋不定,会影响士气。但他自己也不确定他的团队会不会接受一种真正的学习文化。要知道敏捷开发的一大软肋是:工程师愿意根据不断改变的业务要求调适产品,但是对这些商业决策的质量概不负责。

在产品开发者看来,敏捷开发是一个有效的开发系统。它让开发团队集中精力关注功能开发和技术设计。把学习的需求引入这个流程的想法可能会影响生产效率。

(在把精益生产应用到工厂中时,也遇到了相同问题。经理人习惯于关注每台机器的使用率。工厂就是要保证机器在尽可能多的时间里满负荷运作。从机器的角度来看是有效率的,但从整个工厂的生产率来看,却常常是没有效率的。因为在系统理论里,优化了系统中的某部分就必定危及系统整体。)

法布德和他的团队没有意识到,Grockit的进展是用虚荣指数衡量的:即所谓的顾客总数和回答问题总数。这是造成他的团队原地踏步、浪费时间的原因。那些衡量指标让团队感到自己好像在进步,但实际上却没有取得什么进展。有趣的是,法布德采取的方法表面上看起来和精益创业的认知阶段性目标非常相似:他们先推出一个早期产品,并建立某种基准线衡量指标。他们有较短的重复周期,每个周期都以改善顾客指标的能力来衡量。

但是,Grockit使用了错误的衡量指标,所以企业并未取得真正进步。法布德不满意自己对顾客反馈的了解程度。每个周期内,他的团队关注的指标类型都有所不同:这个月他们看的是用户总数,下个月则是注册数量,诸如此类。这些指标看上去各自上下波动,法布德无法得出清晰的因果推论。要在这样的环境中正确排出工作优先顺序是非常困难的。

法布德可以要求他的数据分析师特别调查某个问题。比如,当我们推出某功能后,它是否影响了顾客行为?但回答这个问题需要花费大量时间和精力。该功能到底是在何时推出的?哪些顾客接触到它?同一时间前后,有没有推出其他功能?有没有季节性的原因会造成数据偏差?找到这些答案需要解析一大堆数据,而且常常是在问题提出几周后才能找到答案。在这段时间里,开发团队可能早已进入新的一轮优先工作中,要马上关注新的问题。

和很多新创企业相比,Grockit团队有一个巨大的优势:他们非常自律。一支严谨的团队可能会使用错误的方法,但一旦发现错误,则可以迅速调转船头。更重要的是,一支严谨的团队可以把他们的工作风格贯彻在实验之中,并且得到有意义的结论。

同期群和对比测试

Grockit从两个方面改变了以前用来评估成功的衡量指标。一是公司从关注总数指标转向以同期群为基础的指标;二是从事后再找因果关系,改为把每个新产品的发布当做一次真实的对比测试。

所谓对比测试就是在同一时间向顾客提供不同版本的产品。通过观察两组人的行为变化,对不同版本的影响力得出推断。这种技巧首先采用在直邮广告上,比如,像服装用品“大地尽头”(Lands' End)或家居用品“箱笼柜盒”(Crate & Barrel)这类给顾客寄送产品目录的邮购公司。如果你想要测试产品目录的设计,你可以向一半顾客邮寄新版,向另一半顾客邮寄旧的标准版。为了保证结果科学,两份目录中的产品应该完全一致,唯一不同的是版面设计。想知道新的设计是否奏效,你就要追踪两组顾客的销售数字。(这种技巧有时候也称为“甲乙组测试”,因为两个版本分别以甲和乙标注。)尽管对比测试常常被当做市场营销的特有方法(甚至是直接营销的特有方法),但精益创业可以把这种方法直接融入到产品开发当中。

这些变化马上改变了法布德对业务的理解。对比测试常常会揭示出一些让人意想不到的结果。比如,在工程师和设计师眼中许多产品功能的改善,对顾客行为却毫无影响。这正是Grockit遇到的情况。在我看到的所有使用这种技巧的公司中,也有同样的情况发生。因为需要额外核算和衡量指标,来跟踪观察对比测试中的每个版本,所以采取对比测试看起来似乎更加困难。但是由于去除了顾客并不在意的工作,长期而言它还是节省了大量时间。

对比测试还有助于团队更细致地理解顾客想要什么,不要什么。比如,开发团队希望社交沟通工具能提升产品价值,因此不断添加新的方法,让顾客能相互交流。这些工作基于的观点是,顾客希望在学习中有更多交流。但是,当对比测试显示这类附加功能并未改变顾客行为时,这个观点就有问题了。

疑问激发了开发团队的求知欲,他们希望更深入地理解顾客的真实需求。他们开始构思讨论可能会更具影响力的实验。事实上,很多想法并不新鲜,但因为公司过去只注重开发社交工具,所以它们被忽视了。后来,Grockit测试了一个单人深度学习模式,需要完成过关任务或类似游戏的等级。这样一来,学生既可以选择自修,也能和别人一起学习。这两者相结合的学习方法在法布德以前的课堂上已经被证明是十分有效的。但是没有严谨的对比测试,公司可能不会意识到这一点。实际上,在一段时间里经过几十次的测试后,可以清楚地看到,吸引学生的关键是同时提供他们社群学习和单人学习功能。学生们更希望能够选择学习方式。

看板

根据精益生产的“看板”管理原则,即对生产量的控制,Grockit改变了产品排序的流程。新的系统规则中,用户故事在带来经证实的认知之前就不算完整。用户故事会按四种开发阶段归类:尚在产品列表中、正在开发、完成(技术角度上的功能完成),以及处于验证的过程中。这里的“验证”指的是“了解这个已完成的用户故事首先是不是一个好的想法”。这种验证往往使用对比测试法来揭示顾客行为变化,也可以使用顾客访谈或调查的形式。

“看板”规则只允许一定数量的用户故事存在于任意四个阶段中。随着故事从一个阶段进入另一个阶段,它被填入下一个阶段的方框中。一旦方框填满就不能再接受其他故事了。只有当一个用户故事通过了验证,才能从“看板”上移除。如果验证失败,发现这个故事是个糟糕的想法,那么和它相关的功能就会从产品中删除。(参见下页的表。)

我曾和几组团队一起实施过这个系统。最初的结果总是让人沮丧:“已验证”和“完成”的方框都被填满,已没有可能开展任何新的工作。开发团队习惯只用完成故事的数量衡量生产效率,这时感到动弹不得。唯一再开发新功能的方法,是调查一些已完成但尚未被验证的故事。而这常常需要投入产品开发以外的工作:即和顾客交谈,查看对比测试的数据,以及其他诸如此类的事。

Copyright & copy 7dtime.com 2014-2018 all right reserved,powered by Gitbook该文件修订时间: 2018-06-23 09:42:55

results matching ""

    No results matching ""