公司定義了幾個關鍵指標,然后重復和優(yōu)化這些指標,將更有可能取得成功,至少這是傳統(tǒng)智慧的套路。許多著名的天使投資者倡導諸如迭代、招生、營收等測量標簽。 Andreessen Horowitz風險投資公司(Marc Andreessen和Ben Horowitz聯(lián)合創(chuàng)立的位于硅谷沙丘路的風險投資公司Andreessen Horowitz已成功躋身硅谷頂級VC公司之列,與Accel,Benchmark, Greylock, Kleiner以及紅杉資本旗鼓相當,甚至有人言,AH才是最頂尖的風投公司。校長邦小編注。)的合伙人Jeff Jordan對此總結道:
好指標是指運營公司的正確方式,其中創(chuàng)始人知道如何和為什么某些事情正在(或沒有)良性運轉(zhuǎn)......可以解決或做出相應調(diào)整。
但對于教育技術公司,傳統(tǒng)的衡量標準是不夠的。迭代、招生、營收等標準措施并不能直接衡量出學生的學習成果。許多教育企業(yè)家有自己的工具,但對工具究竟是如何影響其所服務的學生卻只有一個模糊的概念。做了一個關于教室的產(chǎn)品,卻不清楚這個產(chǎn)品是如何提高教育以及把更多的學習機會給到學生,這是為什么?
教育公司CEO需要持續(xù)的標準化的教學成果測量方法,來做出信息決策,優(yōu)化教學成果;并需要像其他核心結果(諸如收入與招生)一樣頻繁而強烈地報道和反映它們。教育公司應該回答以下兩個問題:
當學生使用你的產(chǎn)品時,是否可以很好地量化他們的學習進展?
學習進展中的多少可以歸功于你的產(chǎn)品?
這些都是難以回答的問題。近年來隨著學校收集的數(shù)據(jù)越來越多,問題的解決相對容易了些。標準化測試并不總是能完整或準確地測量學習效果,但加以細心使用,同樣可以作為測量學習產(chǎn)品對學習效果產(chǎn)生影響的有用而可靠的指標。我建議大多數(shù)學習產(chǎn)品可以跟蹤和報告這兩個關鍵指標:
讓我們先從第一個問題開始 - 使用程序的同學學習變的更好了嗎?
1、追蹤平均業(yè)績值的轉(zhuǎn)移
學生業(yè)績百分比是測量學習進展程度的通行方法。學生的業(yè)績百分比是相較于其同齡人而得出的。例如,一個學生的數(shù)學業(yè)績百分比是45,則他的數(shù)學得分高于全國范圍內(nèi)45%的學生。根據(jù)定義,中等學生,他的業(yè)績百分比值為50。
中值業(yè)績百分比的增長是衡量一組學生整體學習進步的具體、廣泛、有用的指標。如果中值百分比在A區(qū)一年年地增長,那么就意味著學生在A區(qū)比在其他區(qū)的同齡人學到的更多。如果漲幅很大且持續(xù),那么這是一個很好的指標,說明這些學生接受教育正在提高(盡管百分比本身無法告訴你為什么這個區(qū)存在著教育增長)。
越來越多的區(qū)和區(qū)域供應商采用中值業(yè)績百分比的增長,來了解到底是什么在他們的區(qū)起作用。區(qū)要求學生采取標準化考試,如廣泛使用的NWEA地圖,和新的評估方法像PARCC與SBAC,并通過這些考試所獲得數(shù)據(jù)來了解學生使用產(chǎn)品對其學習產(chǎn)生的影響。創(chuàng)造這些產(chǎn)品的公司可以利用這些數(shù)據(jù)來了解其產(chǎn)品是否具有積極的影響。
2.讓學生以自身為對照組
學生成績的提高有許多原因,比如更好的老師,新的設施,或創(chuàng)新的技術方案。作為教育公司CEO,如何知道改變學生的學習可以歸因于一個特定的產(chǎn)品呢,而不是其他因素?
可控的實驗研究是一種提煉因果關系的有效方法,雖然有點不切實際。在這樣的實驗中,學生被隨機分成兩組:一組有學習產(chǎn)品使用,另一組沒有;并對他們的結果進行了比較。然而,這些研究在許多情況下是不切實際的。例如,如果一所學校的每個學生采用一個產(chǎn)品,然后學生在對照組不得不錯過了。盡管對照研究是理想的和必須的,但其結果并沒有一致而規(guī)律到需要在產(chǎn)品開發(fā)時考慮進去。
如果公司產(chǎn)品涉及課程的一個子集也許能夠衡量學生學習的影響而不依賴于對照組。在eSpark Learning,我們分析學生在一個或兩個共同核心科目的表現(xiàn),而其他科目則被覆蓋進課程里。然后,我們可以測量這些重點課目相對于其他課程的百分比增益。
例如,一個三年級的數(shù)學的學生可能只學習分數(shù),測量和數(shù)據(jù),但不與其他知識領域一起學習(例如,幾何,運算與代數(shù),以及十進制的數(shù)學運算)。在這種情況下,我們會看看分數(shù),測量和數(shù)據(jù)(核心科目)與幾何,運算與代數(shù),以及十進制的數(shù)學運算(普通科目)之間的性能相對差。如果學生核心科目得分比普通科目高,這表明,一個特定的工具或新的教學方法可能有積極的影響。
3、測量,刷新,重復
作為一個行業(yè),我們需要更好地跟蹤和對我們產(chǎn)品的教育成果做嚴格報告。我們要把這些給我們的員工,投資者和客戶報告,并時刻意識到對學生產(chǎn)生積極影響的最終目的,我們可以優(yōu)化正確的事情,并確保教育技術實現(xiàn)其改善學生學習機會的承諾。只有這樣,我們才能建立產(chǎn)品,真正地改變世界。