這部分我們將回到"回調(diào)"這個(gè)主題.我們將介紹另外一種寫回調(diào)函數(shù)的方法,即在Twisted中使用 generators. 我們將演示如何使用這種方法并且與使用"純" Deferreds 進(jìn)行對(duì)比. 最后, 我們將使用這種技術(shù)重寫詩歌客戶端. 但首先我們來回顧一下 generators 的工作原理,以便弄清楚它為何是創(chuàng)建回調(diào)的候選方法.
你可能知道, 一個(gè)Python生成器是一個(gè)"可重啟的函數(shù)",它是在函數(shù)體中用 yield 語句創(chuàng)建的. 這樣做可以使這個(gè)函數(shù)變成一個(gè)"生成器函數(shù)",它返回一個(gè)"iterator"可以用來以一系列步驟運(yùn)行這個(gè)函數(shù). 每次迭代循環(huán)都會(huì)重啟這個(gè)函數(shù),繼續(xù)執(zhí)行到下一個(gè) yield 語句.
生成器(和迭代器)通常被用來代表以惰性方式創(chuàng)建的值序列. 看一下以下文件中的代碼 inline-callbacks/gen-1.py:
def my_generator():
print 'starting up'
yield 1
print "workin'"
yield 2
print "still workin'"
yield 3
print 'done'
for n in my_generator():
print n這里我們用生成器創(chuàng)建了1,2,3序列. 如果你運(yùn)行這些代碼,會(huì)看到在生成器上做迭代時(shí),生成器中的 print 與循環(huán)語句中的 print 語句交錯(cuò)出現(xiàn).
以下自定義迭代器代碼使上面的說法更加明顯(inline-callbacks/gen-2.py):
def my_generator():
print 'starting up'
yield 1
print "workin'"
yield 2
print "still workin'"
yield 3
print 'done'
gen = my_generator()
while True:
try:
n = gen.next()
except StopIteration:
break
else:
print n把它視作一個(gè)序列,生成器僅僅是獲取連續(xù)值的一個(gè)對(duì)象.但我們也可以以生成器本身的角度看問題:
next 方法).yield)print 語句),生成器則沒有運(yùn)行.這與異步系統(tǒng)中的回調(diào)工作方式非常類似. 我們可以把 while 循環(huán)視作 reactor, 把生成器視作一系列由 yield 語句分隔的回調(diào)函數(shù). 有趣的是, 所有的回調(diào)分享相同的局部變量名空間, 而且名空間在不同回調(diào)中保持一致.
進(jìn)一步,你可以一次激活多個(gè)生成器(參考例子 inline-callbacks/gen-3.py),使得它們的"回調(diào)"互相交錯(cuò),就像在Twisted系統(tǒng)中獨(dú)立運(yùn)行的異步程序.
然而,這種方法還是有一些欠缺.回調(diào)不僅僅被 reactor 調(diào)用, 它還能接受信息.作為 deferred 鏈的一部分,回調(diào)要么接收Python值形式的一個(gè)結(jié)果,要么接收 Failure 形式的一個(gè)錯(cuò)誤.
從Python2.5開始,生成器功能被擴(kuò)展了.當(dāng)你再次啟動(dòng)生成器時(shí),可以給它發(fā)送信息,如 inline-callbacks/gen-4.py 所示:
class Malfunction(Exception):
pass
def my_generator():
print 'starting up'
val = yield 1
print 'got:', val
val = yield 2
print 'got:', val
try:
yield 3
except Malfunction:
print 'malfunction!'
yield 4
print 'done'
gen = my_generator()
print gen.next() # start the generator
print gen.send(10) # send the value 10
print gen.send(20) # send the value 20
print gen.throw(Malfunction()) # raise an exception inside the generator
try:
gen.next()
except StopIteration:
pass在Python2.5以后的版本中, yield 語句是一個(gè)計(jì)算值的表達(dá)式.重新啟動(dòng)生成器的代碼可以使用 send 方法代替 next 決定它的值(如果使用 next 則值為 None), 而且你還可以在迭代器內(nèi)部使用 throw 方法拋出任何異常. 是不是很酷?
根據(jù)我們剛剛回顧的可以向生成器發(fā)送值或拋出異常的特性,可以設(shè)想它是像 deferred 中的一系列回調(diào),即可以接收結(jié)果或錯(cuò)誤. 每個(gè)回調(diào)被 yield 分隔,每一個(gè) yield 表達(dá)式的值是下一個(gè)回調(diào)的結(jié)果(或者 yield 拋出異常表示錯(cuò)誤).圖35顯示相應(yīng)概念:
http://wiki.jikexueyuan.com/project/twisted-intro/images/p17_generator-callbacks1.png" alt="" />
現(xiàn)在一系列回調(diào)以 deferred 方式被鏈接在一起,每個(gè)回調(diào)從它前面的回調(diào)接收結(jié)果.生成器很容易做到這一點(diǎn)——當(dāng)再次啟動(dòng)生成器時(shí),僅僅使用 send 發(fā)送上一次調(diào)用生成器的結(jié)果( yield 產(chǎn)生的值).但這看起來有點(diǎn)笨,既然生成器從開始就計(jì)算這個(gè)值,為什么還需要把它發(fā)送回來? 生成器可以將這個(gè)值儲(chǔ)存在一個(gè)變量中供下一次使用. 因此這到底是為什么呢?
回憶一下我們?cè)诘谑?jié)中所學(xué), deferred 中的回調(diào)還可以返回 deferred 本身. 在這種情況下, 外層的 deferred 先暫停等待內(nèi)層的 deferred 激發(fā),接下來外層 deferred 鏈?zhǔn)褂脙?nèi)層 deferred 的返回結(jié)果(或錯(cuò)誤)激發(fā)后續(xù)的回調(diào)(或錯(cuò)誤回調(diào)).
所以設(shè)想我們的生成器生成一個(gè) deferred 對(duì)象而不是一個(gè)普通的Python值. 這時(shí)生成器會(huì)自動(dòng)"暫停";生成器總是在每個(gè) yield 語句后暫停直到被顯示的重啟.因而我們可以延遲它的重啟直到 deferred 被激發(fā), 屆時(shí)我們會(huì)使用 send 方法發(fā)送值(如果 deferred 成功)或者拋出異常(如果 deferred 失敗).這就使我們的生成器成為一個(gè)真正的異步回調(diào)序列,這正是 twisted.internet.defer 中 inlineCallbacks 函數(shù)背后的概念.
考慮以下例程, 位于 inline-callbacks/inline-callbacks-1.py:
from twisted.internet.defer import inlineCallbacks, Deferred
@inlineCallbacks
def my_callbacks():
from twisted.internet import reactor
print 'first callback'
result = yield 1 # yielded values that aren't deferred come right back
print 'second callback got', result
d = Deferred()
reactor.callLater(5, d.callback, 2)
result = yield d # yielded deferreds will pause the generator
print 'third callback got', result # the result of the deferred
d = Deferred()
reactor.callLater(5, d.errback, Exception(3))
try:
yield d
except Exception, e:
result = e
print 'fourth callback got', repr(result) # the exception from the deferred
reactor.stop()
from twisted.internet import reactor
reactor.callWhenRunning(my_callbacks)
reactor.run()運(yùn)行這個(gè)例子可以看到生成器運(yùn)行到最后并終止了 reactor, 這個(gè)例子展示了 inlineCallbacks 函數(shù)的很多方面.
首先, inlineCallbacks 是一個(gè)修飾器,它總是修飾生成器函數(shù),如那些使用 yield 語句的函數(shù). inlineCallbacks 唯一的目的是將一個(gè)生成器按照上述策略轉(zhuǎn)化為一系列異步回調(diào).
第二,當(dāng)我們調(diào)用一個(gè)用 inlineCallbacks 修飾的函數(shù)時(shí),不需要自己調(diào)用 send 或 throw 方法.修飾符會(huì)幫助我們處理細(xì)節(jié),并確保生成器運(yùn)行到結(jié)束(假設(shè)它不拋出異常).
第三,如果我們從生成器生成一個(gè)非延遲值,它將以 yield 生成的值立即重啟.
最后,如果我們從生成器生成一個(gè) deferred,它不會(huì)重啟除非此 deferred 被激發(fā).如果 deferred 成功返回,則 yield 的結(jié)果就是 deferred 的結(jié)果.如果 deferred 失敗了,則 yield 會(huì)拋出異常. 注意這個(gè)異常僅僅是一個(gè)普通的 Exception 對(duì)象,而不是 Failure,我們可以在 yield 外面用 try/except 塊捕獲它們.
在上面的例子中,我們僅用 callLater 在一小段時(shí)間之后去激發(fā) deferred.雖然這是一種將非阻塞延遲放入回調(diào)鏈的實(shí)用方法,但通常我們會(huì)生成一個(gè) deferred,它是被生成器中其他的異步操作(如 get_poetry)返回的.
OK,現(xiàn)在我們知道了 inlineCallbacks 修飾的函數(shù)是如何運(yùn)行的,但當(dāng)你實(shí)際調(diào)用時(shí)會(huì)返回什么值呢?正如你認(rèn)為的,將得到 deferred.由于不能確切地知道生成器何時(shí)停止(它可能生成一個(gè)或多個(gè) deferred),裝飾函數(shù)本身是異步的,所以 deferred 是一個(gè)合適的返回值.注意這個(gè) 返回的deferred 并不是生成器中 yield 生成的 deferred.相反,它在生成器完全結(jié)束(或拋出異常)后才被激發(fā).
如果生成器拋出一個(gè)異常,那么返回的 deferred 將激發(fā)它的錯(cuò)誤回調(diào)鏈,把異常包含在一個(gè) Failure 中. 但是如果我們希望生成器返回一個(gè)正常值,必須使用 defer.returnValue 函數(shù). 像普通 return 語句一樣,它也會(huì)終止生成器(實(shí)際會(huì)拋出一個(gè)特殊異常).例子 inline-callbacks/inline-callbacks-2.py 說明了這兩種可能.
讓我們?cè)谛掳姹镜脑姼杩蛻舳酥屑尤?inlineCallbacks,你可以在 twisted-client-7/get-poetry.py 中查看源代碼.也許你需要與客戶端6.0—— twisted-client-6/get-poetry.py 進(jìn)行對(duì)比,它們的不同位于 poetry_main:
def poetry_main():
addresses = parse_args()
xform_addr = addresses.pop(0)
proxy = TransformProxy(*xform_addr)
from twisted.internet import reactor
results = []
@defer.inlineCallbacks
def get_transformed_poem(host, port):
try:
poem = yield get_poetry(host, port)
except Exception, e:
print >>sys.stderr, 'The poem download failed:', e
raise
try:
poem = yield proxy.xform('cummingsify', poem)
except Exception:
print >>sys.stderr, 'Cummingsify failed!'
defer.returnValue(poem)
def got_poem(poem):
print poem
def poem_done(_):
results.append(_)
if len(results) == len(addresses):
reactor.stop()
for address in addresses:
host, port = address
d = get_transformed_poem(host, port)
d.addCallbacks(got_poem)
d.addBoth(poem_done)
reactor.run()在這個(gè)新版本里, inlineCallbacks 生成函數(shù) get_transformed_poem 負(fù)責(zé)取回詩歌并且進(jìn)行轉(zhuǎn)換(通過轉(zhuǎn)換服務(wù)).由于這兩個(gè)操作都是異步的,我們每次生成一個(gè) deferred 并且隱式地等待結(jié)果.與客戶端6.0一樣,如果變換失敗則返回原始詩歌.我們可以使用 try/except 語句捕獲生成器中的異步錯(cuò)誤.
我們以先前的方式測試新版客戶端. 首先啟動(dòng)一個(gè)變換服務(wù):
python twisted-server-1/tranformedpoetry.py --port 10001然后啟動(dòng)兩個(gè)詩歌服務(wù)器:
python twisted-server-1/fastpoetry.py --port 10002 poetry/fascination.txt
python twisted-server-1/fastpoetry.py --port 10003 poetry/science.txt現(xiàn)在可以運(yùn)行新的客戶端:
python twisted-client-7/get-poetry.py 10001 10002 10003試試關(guān)閉一個(gè)或多個(gè)服務(wù)器,看一看客戶端如何捕獲錯(cuò)誤.
就像 Deferred 對(duì)象, inlineCallbacks 函數(shù)給我們一種組織異步回調(diào)的新方式.使用 deferred, inllineCallbacks 并不會(huì)改變游戲規(guī)則.我們的回調(diào)仍然一次調(diào)用一個(gè)回調(diào),它們?nèi)匀槐?reactor 調(diào)用.我們可以通過打印內(nèi)聯(lián)回調(diào)的回溯堆棧信息來證實(shí)這一點(diǎn),參見腳本 inline-callbacks/inline-callbacks-tb.py.運(yùn)行此代碼你將首先獲得一個(gè)關(guān)于 reactor.run() 的回溯,然后是許多幫助函數(shù)信息,最后是我們的回調(diào).
圖29解釋了當(dāng) deferred 中一個(gè)回調(diào)返回另一個(gè) deferred 時(shí)會(huì)發(fā)生什么,我們調(diào)整它來展示當(dāng)一個(gè) inlineCallbacks 生成器生成一個(gè) deferred 時(shí)會(huì)發(fā)生什么,參考圖36:
http://wiki.jikexueyuan.com/project/twisted-intro/images/p17_inline-callbacks1.png" alt="" /> 圖36 inlineCallbacks 函數(shù)中的控制流
同樣的圖對(duì)兩種情況都適用,因?yàn)樗鼈儽硎镜南敕ǘ际且粯拥?—— 一個(gè)異步操作正在等待另一個(gè)操作.
由于 inlineCallbacks 和 deferred 解決許多相同的問題,在它們之間如何選擇呢?下面列出一些 inlineCallbacks 的潛在優(yōu)勢.
try/except 語句處理錯(cuò)誤.當(dāng)然也存在一些缺陷:
deferred 的代碼則能夠以任意順序自由地添加任何回調(diào).inlineCallbacks 函數(shù)不是一種避免學(xué)習(xí)異步編程模型的方式.就像任何技術(shù),實(shí)踐將積累出必要的經(jīng)驗(yàn),幫你做出明智選擇.
在這個(gè)部分,我們學(xué)習(xí)了 inlineCallbacks 裝飾器以及它怎樣使我們能夠以Python生成器的形式表達(dá)一系列異步回調(diào).
在第十八節(jié)中,我們將學(xué)習(xí)一種管理 一組 "并行"異步操作的技術(shù).
inlineCallbacks 函數(shù)是復(fù)數(shù)(形式)?yield 語句的生成器中包含多少個(gè)回調(diào),假設(shè)其中沒有循環(huán)或者 if 語句?inlineCallbacks 的實(shí)現(xiàn),你認(rèn)為實(shí)際有多少種可能?got_poem 放入到生成器中.poem_done 回調(diào)放入生成器.小心!確保處理所有失敗情況以便無論怎樣 reactor 都會(huì)關(guān)閉.與使用 deferred 關(guān)閉 reactor 對(duì)比代碼有何不同?while 循環(huán)中使用 yield 語句的生成器代表一個(gè)概念上的無限序列.那么同樣的裝飾有 inlineCallbacks 的生成器又代表什么呢?本部分原作參見: dave @ http://krondo.com/blog/?p=2441
本部分翻譯內(nèi)容參見luocheng @ https://github.com/luocheng/twisted-intro-cn/blob/master/p17.rst
掃碼關(guān)注鍍金池微信號(hào)
手機(jī)訂課，優(yōu)惠多多