異步編程對(duì) JavaScript 語(yǔ)言太重要。JavaScript 只有一根線程,如果沒有異步編程,根本沒法用,非卡死不可。
ES6 誕生以前,異步編程的方法,大概有下面四種。
ES6 將 JavaScript 異步編程帶入了一個(gè)全新的階段。
所謂"異步",簡(jiǎn)單說(shuō)就是一個(gè)任務(wù)分成兩段,先執(zhí)行第一段,然后轉(zhuǎn)而執(zhí)行其他任務(wù),等做好了準(zhǔn)備,再回過(guò)頭執(zhí)行第二段。
比如,有一個(gè)任務(wù)是讀取文件進(jìn)行處理,任務(wù)的第一段是向操作系統(tǒng)發(fā)出請(qǐng)求,要求讀取文件。然后,程序執(zhí)行其他任務(wù),等到操作系統(tǒng)返回文件,再接著執(zhí)行任務(wù)的第二段(處理文件)。這種不連續(xù)的執(zhí)行,就叫做異步。
相應(yīng)地,連續(xù)的執(zhí)行就叫做同步。由于是連續(xù)執(zhí)行,不能插入其他任務(wù),所以操作系統(tǒng)從硬盤讀取文件的這段時(shí)間,程序只能干等著。
JavaScript語(yǔ)言對(duì)異步編程的實(shí)現(xiàn),就是回調(diào)函數(shù)。所謂回調(diào)函數(shù),就是把任務(wù)的第二段單獨(dú)寫在一個(gè)函數(shù)里面,等到重新執(zhí)行這個(gè)任務(wù)的時(shí)候,就直接調(diào)用這個(gè)函數(shù)。它的英語(yǔ)名字callback,直譯過(guò)來(lái)就是"重新調(diào)用"。
讀取文件進(jìn)行處理,是這樣寫的。
fs.readFile('/etc/passwd', function (err, data) {
if (err) throw err;
console.log(data);
});
上面代碼中,readFile函數(shù)的第二個(gè)參數(shù),就是回調(diào)函數(shù),也就是任務(wù)的第二段。等到操作系統(tǒng)返回了/etc/passwd這個(gè)文件以后,回調(diào)函數(shù)才會(huì)執(zhí)行。
一個(gè)有趣的問(wèn)題是,為什么Node.js約定,回調(diào)函數(shù)的第一個(gè)參數(shù),必須是錯(cuò)誤對(duì)象err(如果沒有錯(cuò)誤,該參數(shù)就是null)?原因是執(zhí)行分成兩段,在這兩段之間拋出的錯(cuò)誤,程序無(wú)法捕捉,只能當(dāng)作參數(shù),傳入第二段。
回調(diào)函數(shù)本身并沒有問(wèn)題,它的問(wèn)題出現(xiàn)在多個(gè)回調(diào)函數(shù)嵌套。假定讀取A文件之后,再讀取B文件,代碼如下。
fs.readFile(fileA, function (err, data) {
fs.readFile(fileB, function (err, data) {
// ...
});
});
不難想象,如果依次讀取多個(gè)文件,就會(huì)出現(xiàn)多重嵌套。代碼不是縱向發(fā)展,而是橫向發(fā)展,很快就會(huì)亂成一團(tuán),無(wú)法管理。這種情況就稱為“回調(diào)函數(shù)噩夢(mèng)”(callback hell)。
Promise就是為了解決這個(gè)問(wèn)題而提出的。它不是新的語(yǔ)法功能,而是一種新的寫法,允許將回調(diào)函數(shù)的橫向加載,改成縱向加載。采用Promise,連續(xù)讀取多個(gè)文件,寫法如下。
var readFile = require('fs-readfile-promise');
readFile(fileA)
.then(function(data){
console.log(data.toString());
})
.then(function(){
return readFile(fileB);
})
.then(function(data){
console.log(data.toString());
})
.catch(function(err) {
console.log(err);
});
上面代碼中,我使用了fs-readfile-promise模塊,它的作用就是返回一個(gè)Promise版本的readFile函數(shù)。Promise提供then方法加載回調(diào)函數(shù),catch方法捕捉執(zhí)行過(guò)程中拋出的錯(cuò)誤。
可以看到,Promise 的寫法只是回調(diào)函數(shù)的改進(jìn),使用then方法以后,異步任務(wù)的兩段執(zhí)行看得更清楚了,除此以外,并無(wú)新意。
Promise 的最大問(wèn)題是代碼冗余,原來(lái)的任務(wù)被Promise 包裝了一下,不管什么操作,一眼看去都是一堆 then,原來(lái)的語(yǔ)義變得很不清楚。
那么,有沒有更好的寫法呢?
傳統(tǒng)的編程語(yǔ)言,早有異步編程的解決方案(其實(shí)是多任務(wù)的解決方案)。其中有一種叫做"協(xié)程"(coroutine),意思是多個(gè)線程互相協(xié)作,完成異步任務(wù)。
協(xié)程有點(diǎn)像函數(shù),又有點(diǎn)像線程。它的運(yùn)行流程大致如下。
上面流程的協(xié)程A,就是異步任務(wù),因?yàn)樗殖蓛啥危ɑ蚨喽危﹫?zhí)行。
舉例來(lái)說(shuō),讀取文件的協(xié)程寫法如下。
function asnycJob() {
// ...其他代碼
var f = yield readFile(fileA);
// ...其他代碼
}
上面代碼的函數(shù)asyncJob是一個(gè)協(xié)程,它的奧妙就在其中的yield命令。它表示執(zhí)行到此處,執(zhí)行權(quán)將交給其他協(xié)程。也就是說(shuō),yield命令是異步兩個(gè)階段的分界線。
協(xié)程遇到 yield 命令就暫停,等到執(zhí)行權(quán)返回,再?gòu)臅和5牡胤嚼^續(xù)往后執(zhí)行。它的最大優(yōu)點(diǎn),就是代碼的寫法非常像同步操作,如果去除yield命令,簡(jiǎn)直一模一樣。
Generator函數(shù)是協(xié)程在ES6的實(shí)現(xiàn),最大特點(diǎn)就是可以交出函數(shù)的執(zhí)行權(quán)(即暫停執(zhí)行)。
整個(gè)Generator函數(shù)就是一個(gè)封裝的異步任務(wù),或者說(shuō)是異步任務(wù)的容器。異步操作需要暫停的地方,都用yield語(yǔ)句注明。Generator函數(shù)的執(zhí)行方法如下。
function* gen(x){
var y = yield x + 2;
return y;
}
var g = gen(1);
g.next() // { value: 3, done: false }
g.next() // { value: undefined, done: true }
上面代碼中,調(diào)用Generator函數(shù),會(huì)返回一個(gè)內(nèi)部指針(即遍歷器)g 。這是Generator函數(shù)不同于普通函數(shù)的另一個(gè)地方,即執(zhí)行它不會(huì)返回結(jié)果,返回的是指針對(duì)象。調(diào)用指針g的next方法,會(huì)移動(dòng)內(nèi)部指針(即執(zhí)行異步任務(wù)的第一段),指向第一個(gè)遇到的yield語(yǔ)句,上例是執(zhí)行到x + 2為止。
換言之,next方法的作用是分階段執(zhí)行Generator函數(shù)。每次調(diào)用next方法,會(huì)返回一個(gè)對(duì)象,表示當(dāng)前階段的信息(value屬性和done屬性)。value屬性是yield語(yǔ)句后面表達(dá)式的值,表示當(dāng)前階段的值;done屬性是一個(gè)布爾值,表示Generator函數(shù)是否執(zhí)行完畢,即是否還有下一個(gè)階段。
Generator函數(shù)可以暫停執(zhí)行和恢復(fù)執(zhí)行,這是它能封裝異步任務(wù)的根本原因。除此之外,它還有兩個(gè)特性,使它可以作為異步編程的完整解決方案:函數(shù)體內(nèi)外的數(shù)據(jù)交換和錯(cuò)誤處理機(jī)制。
next方法返回值的value屬性,是Generator函數(shù)向外輸出數(shù)據(jù);next方法還可以接受參數(shù),這是向Generator函數(shù)體內(nèi)輸入數(shù)據(jù)。
function* gen(x){
var y = yield x + 2;
return y;
}
var g = gen(1);
g.next() // { value: 3, done: false }
g.next(2) // { value: 2, done: true }
上面代碼中,第一個(gè)next方法的value屬性,返回表達(dá)式x + 2的值(3)。第二個(gè)next方法帶有參數(shù)2,這個(gè)參數(shù)可以傳入 Generator 函數(shù),作為上個(gè)階段異步任務(wù)的返回結(jié)果,被函數(shù)體內(nèi)的變量y接收。因此,這一步的 value 屬性,返回的就是2(變量y的值)。
Generator 函數(shù)內(nèi)部還可以部署錯(cuò)誤處理代碼,捕獲函數(shù)體外拋出的錯(cuò)誤。
function* gen(x){
try {
var y = yield x + 2;
} catch (e){
console.log(e);
}
return y;
}
var g = gen(1);
g.next();
g.throw('出錯(cuò)了');
// 出錯(cuò)了
上面代碼的最后一行,Generator函數(shù)體外,使用指針對(duì)象的throw方法拋出的錯(cuò)誤,可以被函數(shù)體內(nèi)的try ...catch代碼塊捕獲。這意味著,出錯(cuò)的代碼與處理錯(cuò)誤的代碼,實(shí)現(xiàn)了時(shí)間和空間上的分離,這對(duì)于異步編程無(wú)疑是很重要的。
下面看看如何使用 Generator 函數(shù),執(zhí)行一個(gè)真實(shí)的異步任務(wù)。
var fetch = require('node-fetch');
function* gen(){
var url = 'https://api.github.com/users/github';
var result = yield fetch(url);
console.log(result.bio);
}
上面代碼中,Generator函數(shù)封裝了一個(gè)異步操作,該操作先讀取一個(gè)遠(yuǎn)程接口,然后從JSON格式的數(shù)據(jù)解析信息。就像前面說(shuō)過(guò)的,這段代碼非常像同步操作,除了加上了yield命令。
執(zhí)行這段代碼的方法如下。
var g = gen();
var result = g.next();
result.value.then(function(data){
return data.json();
}).then(function(data){
g.next(data);
});
上面代碼中,首先執(zhí)行Generator函數(shù),獲取遍歷器對(duì)象,然后使用next 方法(第二行),執(zhí)行異步任務(wù)的第一階段。由于Fetch模塊返回的是一個(gè)Promise對(duì)象,因此要用then方法調(diào)用下一個(gè)next 方法。
可以看到,雖然 Generator 函數(shù)將異步操作表示得很簡(jiǎn)潔,但是流程管理卻不方便(即何時(shí)執(zhí)行第一階段、何時(shí)執(zhí)行第二階段)。
Thunk函數(shù)早在上個(gè)世紀(jì)60年代就誕生了。
那時(shí),編程語(yǔ)言剛剛起步,計(jì)算機(jī)學(xué)家還在研究,編譯器怎么寫比較好。一個(gè)爭(zhēng)論的焦點(diǎn)是"求值策略",即函數(shù)的參數(shù)到底應(yīng)該何時(shí)求值。
var x = 1;
function f(m){
return m * 2;
}
f(x + 5)
上面代碼先定義函數(shù)f,然后向它傳入表達(dá)式x + 5。請(qǐng)問(wèn),這個(gè)表達(dá)式應(yīng)該何時(shí)求值?
一種意見是"傳值調(diào)用"(call by value),即在進(jìn)入函數(shù)體之前,就計(jì)算x + 5的值(等于6),再將這個(gè)值傳入函數(shù)f 。C語(yǔ)言就采用這種策略。
f(x + 5)
// 傳值調(diào)用時(shí),等同于
f(6)
另一種意見是"傳名調(diào)用"(call by name),即直接將表達(dá)式x + 5傳入函數(shù)體,只在用到它的時(shí)候求值。Hskell語(yǔ)言采用這種策略。
f(x + 5)
// 傳名調(diào)用時(shí),等同于
(x + 5) * 2
傳值調(diào)用和傳名調(diào)用,哪一種比較好?回答是各有利弊。傳值調(diào)用比較簡(jiǎn)單,但是對(duì)參數(shù)求值的時(shí)候,實(shí)際上還沒用到這個(gè)參數(shù),有可能造成性能損失。
function f(a, b){
return b;
}
f(3 * x * x - 2 * x - 1, x);
上面代碼中,函數(shù)f的第一個(gè)參數(shù)是一個(gè)復(fù)雜的表達(dá)式,但是函數(shù)體內(nèi)根本沒用到。對(duì)這個(gè)參數(shù)求值,實(shí)際上是不必要的。因此,有一些計(jì)算機(jī)學(xué)家傾向于"傳名調(diào)用",即只在執(zhí)行時(shí)求值。
編譯器的"傳名調(diào)用"實(shí)現(xiàn),往往是將參數(shù)放到一個(gè)臨時(shí)函數(shù)之中,再將這個(gè)臨時(shí)函數(shù)傳入函數(shù)體。這個(gè)臨時(shí)函數(shù)就叫做Thunk函數(shù)。
function f(m){
return m * 2;
}
f(x + 5);
// 等同于
var thunk = function () {
return x + 5;
};
function f(thunk){
return thunk() * 2;
}
上面代碼中,函數(shù)f的參數(shù)x + 5被一個(gè)函數(shù)替換了。凡是用到原參數(shù)的地方,對(duì)Thunk函數(shù)求值即可。
這就是Thunk函數(shù)的定義,它是"傳名調(diào)用"的一種實(shí)現(xiàn)策略,用來(lái)替換某個(gè)表達(dá)式。
JavaScript語(yǔ)言是傳值調(diào)用,它的Thunk函數(shù)含義有所不同。在JavaScript語(yǔ)言中,Thunk函數(shù)替換的不是表達(dá)式,而是多參數(shù)函數(shù),將其替換成單參數(shù)的版本,且只接受回調(diào)函數(shù)作為參數(shù)。
// 正常版本的readFile(多參數(shù)版本)
fs.readFile(fileName, callback);
// Thunk版本的readFile(單參數(shù)版本)
var readFileThunk = Thunk(fileName);
readFileThunk(callback);
var Thunk = function (fileName){
return function (callback){
return fs.readFile(fileName, callback);
};
};
上面代碼中,fs模塊的readFile方法是一個(gè)多參數(shù)函數(shù),兩個(gè)參數(shù)分別為文件名和回調(diào)函數(shù)。經(jīng)過(guò)轉(zhuǎn)換器處理,它變成了一個(gè)單參數(shù)函數(shù),只接受回調(diào)函數(shù)作為參數(shù)。這個(gè)單參數(shù)版本,就叫做Thunk函數(shù)。
任何函數(shù),只要參數(shù)有回調(diào)函數(shù),就能寫成Thunk函數(shù)的形式。下面是一個(gè)簡(jiǎn)單的Thunk函數(shù)轉(zhuǎn)換器。
var Thunk = function(fn){
return function (){
var args = Array.prototype.slice.call(arguments);
return function (callback){
args.push(callback);
return fn.apply(this, args);
}
};
};
使用上面的轉(zhuǎn)換器,生成fs.readFile的Thunk函數(shù)。
var readFileThunk = Thunk(fs.readFile);
readFileThunk(fileA)(callback);
生產(chǎn)環(huán)境的轉(zhuǎn)換器,建議使用Thunkify模塊。
首先是安裝。
$ npm install thunkify
使用方式如下。
var thunkify = require('thunkify');
var fs = require('fs');
var read = thunkify(fs.readFile);
read('package.json')(function(err, str){
// ...
});
Thunkify的源碼與上一節(jié)那個(gè)簡(jiǎn)單的轉(zhuǎn)換器非常像。
function thunkify(fn){
return function(){
var args = new Array(arguments.length);
var ctx = this;
for(var i = 0; i < args.length; ++i) {
args[i] = arguments[i];
}
return function(done){
var called;
args.push(function(){
if (called) return;
called = true;
done.apply(null, arguments);
});
try {
fn.apply(ctx, args);
} catch (err) {
done(err);
}
}
}
};
它的源碼主要多了一個(gè)檢查機(jī)制,變量called確?;卣{(diào)函數(shù)只運(yùn)行一次。這樣的設(shè)計(jì)與下文的Generator函數(shù)相關(guān)。請(qǐng)看下面的例子。
function f(a, b, callback){
var sum = a + b;
callback(sum);
callback(sum);
}
var ft = thunkify(f);
ft(1, 2)(console.log);
// 3
上面代碼中,由于thunkify只允許回調(diào)函數(shù)執(zhí)行一次,所以只輸出一行結(jié)果。
你可能會(huì)問(wèn), Thunk函數(shù)有什么用?回答是以前確實(shí)沒什么用,但是ES6有了Generator函數(shù),Thunk函數(shù)現(xiàn)在可以用于Generator函數(shù)的自動(dòng)流程管理。
以讀取文件為例。下面的Generator函數(shù)封裝了兩個(gè)異步操作。
var fs = require('fs');
var thunkify = require('thunkify');
var readFile = thunkify(fs.readFile);
var gen = function* (){
var r1 = yield readFile('/etc/fstab');
console.log(r1.toString());
var r2 = yield readFile('/etc/shells');
console.log(r2.toString());
};
上面代碼中,yield命令用于將程序的執(zhí)行權(quán)移出Generator函數(shù),那么就需要一種方法,將執(zhí)行權(quán)再交還給Generator函數(shù)。
這種方法就是Thunk函數(shù),因?yàn)樗梢栽诨卣{(diào)函數(shù)里,將執(zhí)行權(quán)交還給Generator函數(shù)。為了便于理解,我們先看如何手動(dòng)執(zhí)行上面這個(gè)Generator函數(shù)。
var g = gen();
var r1 = g.next();
r1.value(function(err, data){
if (err) throw err;
var r2 = g.next(data);
r2.value(function(err, data){
if (err) throw err;
g.next(data);
});
});
上面代碼中,變量g是Generator函數(shù)的內(nèi)部指針,表示目前執(zhí)行到哪一步。next方法負(fù)責(zé)將指針移動(dòng)到下一步,并返回該步的信息(value屬性和done屬性)。
仔細(xì)查看上面的代碼,可以發(fā)現(xiàn)Generator函數(shù)的執(zhí)行過(guò)程,其實(shí)是將同一個(gè)回調(diào)函數(shù),反復(fù)傳入next方法的value屬性。這使得我們可以用遞歸來(lái)自動(dòng)完成這個(gè)過(guò)程。
Thunk函數(shù)真正的威力,在于可以自動(dòng)執(zhí)行Generator函數(shù)。下面就是一個(gè)基于Thunk函數(shù)的Generator執(zhí)行器。
function run(fn) {
var gen = fn();
function next(err, data) {
var result = gen.next(data);
if (result.done) return;
result.value(next);
}
next();
}
run(gen);
上面代碼的run函數(shù),就是一個(gè)Generator函數(shù)的自動(dòng)執(zhí)行器。內(nèi)部的next函數(shù)就是Thunk的回調(diào)函數(shù)。next函數(shù)先將指針移到Generator函數(shù)的下一步(gen.next方法),然后判斷Generator函數(shù)是否結(jié)束(result.done 屬性),如果沒結(jié)束,就將next函數(shù)再傳入Thunk函數(shù)(result.value屬性),否則就直接退出。
有了這個(gè)執(zhí)行器,執(zhí)行Generator函數(shù)方便多了。不管有多少個(gè)異步操作,直接傳入run函數(shù)即可。當(dāng)然,前提是每一個(gè)異步操作,都要是Thunk函數(shù),也就是說(shuō),跟在yield命令后面的必須是Thunk函數(shù)。
var gen = function* (){
var f1 = yield readFile('fileA');
var f2 = yield readFile('fileB');
// ...
var fn = yield readFile('fileN');
};
run(gen);
上面代碼中,函數(shù)gen封裝了n個(gè)異步的讀取文件操作,只要執(zhí)行run函數(shù),這些操作就會(huì)自動(dòng)完成。這樣一來(lái),異步操作不僅可以寫得像同步操作,而且一行代碼就可以執(zhí)行。
Thunk函數(shù)并不是Generator函數(shù)自動(dòng)執(zhí)行的唯一方案。因?yàn)樽詣?dòng)執(zhí)行的關(guān)鍵是,必須有一種機(jī)制,自動(dòng)控制Generator函數(shù)的流程,接收和交還程序的執(zhí)行權(quán)?;卣{(diào)函數(shù)可以做到這一點(diǎn),Promise 對(duì)象也可以做到這一點(diǎn)。
如果并發(fā)執(zhí)行異步操作,可以將異步操作都放入一個(gè)數(shù)組,跟在yield語(yǔ)句后面。
co(function* () {
var values = [n1, n2, n3];
yield values.map(somethingAsync);
});
function* somethingAsync(x) {
// do something async
return y
}
上面的代碼允許并發(fā)三個(gè)somethingAsync異步操作,等到它們?nèi)客瓿?,才?huì)進(jìn)行下一步。