相關(guān)概念

并發(fā)：指一個時間段內(nèi)，有幾個程序在同一個cpu上運行，但是任意時刻只有一個程序在cpu上運行。比如說在一秒內(nèi)cpu切換了100個進程，就可以認為cpu的并發(fā)是100。 并行：值任意時刻點上，有多個程序同時運行在cpu上，可以理解為多個cpu，每個cpu獨立運行自己程序，互不干擾。并行數(shù)量和cpu數(shù)量是一致的。

我們平時常說的高并發(fā)而不是高并行，是因為cpu的數(shù)量是有限的，不可以增加。

形象的理解：cpu對應一個人，程序?qū)炔瑁艘炔栊枰膫€步驟（可以對應程序需要開啟四個線程）：1燒水，2備茶葉，3洗茶杯，4泡茶。

并發(fā)方式：燒水的同時做好2備茶葉，3洗茶杯，等水燒好之后執(zhí)行4泡茶。這樣比順序執(zhí)行1234要省時間。

并行方式：叫來四個人（開啟四個進程），分別執(zhí)行任務(wù)1234，整個程序執(zhí)行時間取決于耗時最多的步驟。

同步 （注意同步和異步只是針對于I/O操作來講的）值調(diào)用IO操作時，必須等待IO操作完成后才開始新的的調(diào)用方式。 異步　指調(diào)用IO操作時，不必等待IO操作完成就開始新的的調(diào)用方式。 阻塞 指調(diào)用函數(shù)的時候，當前線程被掛起。 非阻塞 指調(diào)用函數(shù)的時候，當前線程不會被掛起，而是立即返回。

IO多路復用

sllect， poll， epoll都是IO多路復用的機制。IO多路復用就是通過這樣一種機制：一個進程可以監(jiān)聽多個描述符，一旦某個描述符就緒（一般是讀就緒和寫就緒），能夠通知程序進行相應的操作。但select，poll，epoll本質(zhì)上都是同步IO，因為他們都需要在讀寫事件就緒后自己負責進行讀寫（即將數(shù)據(jù)從內(nèi)核空間拷貝到應用緩存）。也就是說這個讀寫過程是阻塞的。而異步IO則無需自己負責讀寫，異步IO的實現(xiàn)會負責把數(shù)據(jù)從內(nèi)核拷貝到用戶空間。

select select函數(shù)監(jiān)聽的文件描述符分三類：writefds、readfds、和exceptfds。調(diào)用后select函數(shù)會阻塞，直到描述符就緒（有數(shù)據(jù)可讀、寫、或者有except）或者超時（timeout指定等待時間，如果立即返回則設(shè)置為null），函數(shù)返回。當select函數(shù)返回后，可以通過遍歷fdset，來找到就緒的描述符。

優(yōu)點：良好的跨平臺性（幾乎所有的平臺都支持）缺點：單個進程能夠監(jiān)聽的文件描述符數(shù)量存在最大限制，在linux上一般為1024，可以通過修改宏定義甚至重新編譯內(nèi)核來提升，但是這樣也會造成效率降低。

poll

　 不同于select使用三個位圖來表示fdset的方式，poll使用的是pollfd的指針實現(xiàn)

pollfd結(jié)構(gòu)包含了要監(jiān)聽的event和發(fā)生的event，不再使用select“參數(shù)-值”傳遞的方式。同時pollfd并沒有最大數(shù)量限制（但是數(shù)量過大之后性能也是會下降）。和select函數(shù)一樣，poll返回后，需要輪詢pollfd來獲取就緒的描述符。

從上面看，select和poll都需要在返回后，通過遍歷文件描述符來獲取已經(jīng)就緒的socket。事實上，同時連接的大量客戶端在同一時刻可能只有很少的處于就緒狀態(tài)，因此隨著監(jiān)視的描述符數(shù)量的增長，其效率也會下降。

epoll

epoll是在linux2.6內(nèi)核中國提出的，（windows不支持），是之前的select和poll增強版。相對于select和poll來說，epoll更加靈活，沒有描述符的限制。epoll使用一個文件描述符管理多個描述符，將用戶關(guān)系的文件描述符的時間存放到內(nèi)核的一個時間表中。這樣在用戶控件和內(nèi)核控件的coppy只需要一次。

如何選擇？

①在并發(fā)高同時連接活躍度不是很高的請看下，epoll比select好（網(wǎng)站或web系統(tǒng)中，用戶請求一個頁面后隨時可能會關(guān)閉）

②并發(fā)性不高，同時連接很活躍，select比epoll好。（比如說游戲中數(shù)據(jù)一但連接了就會一直活躍，不會中斷）

省略章節(jié)：由于在用到select的時候需要嵌套多層回調(diào)函數(shù)，然后印發(fā)一系列的問題，如可讀性差，共享狀態(tài)管理困難，出現(xiàn)異常排查復雜，于是引入?yún)f(xié)程，既操作簡單，速度又快。

協(xié)程

對于上面的問題，我們希望去解決這樣幾個問題：

采用同步的方式去編寫異步的代碼，使代碼的可讀性高，更簡便。 使用單線程去切換任務(wù)（就像單線程間函數(shù)之間的切換那樣，速度超快）

（1）線程是由操作系統(tǒng)切換的，單線程的切換意味著我們需要程序員自己去調(diào)度任務(wù)。

（2）不需要鎖，并發(fā)性高，如果單線程內(nèi)切換函數(shù)，性能遠高于線程切換，并發(fā)性更高。

例如我們在做爬蟲的時候：

def get_url(url): html = get_html(url) # 此處網(wǎng)絡(luò)下載IO操作比較耗時，希望切換到另一個函數(shù)去執(zhí)行 infos = parse_html(html)# 下載url中的htmldef get_html(url): pass# 解析網(wǎng)頁def parse_html(html): pass

意味著我們需要一個可以暫停的函數(shù)，對于此函數(shù)可以向暫停的地方穿入值。（回憶我們的生成器函數(shù)就可以滿足這兩個條件）所以就引入了協(xié)程。

生成器進階

生成器不僅可以產(chǎn)出值，還可以接收值，用send()方法。注意：在調(diào)用send()發(fā)送非None值之前必須先啟動生成器，可以用①next()②send(None)兩種方式激活

def gen_func(): html = yield ’http://www.baidu.com’ # yield 前面加=號就實現(xiàn)了1：可以產(chǎn)出值2：可以接受調(diào)用者傳過來的值 print(html) yield 2 yield 3 return ’bobby’if __name__ == ’__main__’: gen = gen_func() url = next(gen) print(url) html = ’bobby’ gen.send(html) # send方法既可以將值傳遞進生成器內(nèi)部，又可以重新啟動生成器執(zhí)行到下一yield位置。打印結(jié)果：http://www.baidu.combobby close()方法。

def gen_func(): yield ’http://www.baidu.com’ # yield 前面加=號就實現(xiàn)了1：可以產(chǎn)出值2：可以接受調(diào)用者傳過來的值 yield 2 yield 3 return ’bobby’if __name__ == ’__main__’: gen = gen_func() url = next(gen) gen.close() next(gen)輸出結(jié)果：StopIteration

特別注意：調(diào)用close.()之后， 生成器在往下運行的時候就會產(chǎn)生出一個GeneratorExit，單數(shù)如果用try捕獲異常的話，就算捕獲了遇到后面還有yield的話，還是不能往下運行了，因為一旦調(diào)用close方法生成器就終止運行了（如果還有next，就會會產(chǎn)生一個異常）所以我們不要去try捕捉該異常。（此注意可以先忽略）

def gen_func(): try: yield ’http://www.baidu.com’ except GeneratorExit: pass yield 2 yield 3 return ’bobby’if __name__ == ’__main__’: gen = gen_func() print(next(gen)) gen.close() next(gen)輸出結(jié)果：RuntimeError: generator ignored GeneratorExit 調(diào)用throw()方法。用于拋出一個異常。該異常可以捕捉忽略。

def gen_func(): yield ’http://www.baidu.com’ # yield 前面加=號就實現(xiàn)了1：可以產(chǎn)出值2：可以接受調(diào)用者傳過來的值 yield 2 yield 3 return ’bobby’if __name__ == ’__main__’: gen = gen_func() print(next(gen)) gen.throw(Exception, ’Download Error’)輸出結(jié)果： Download Error

yield from

先看一個函數(shù)：from itertools import chain

from itertools import chainmy_list = [1,2,3]my_dict = {’frank’:’yangchao’, ’ailsa’:’liuliu’}for value in chain(my_list, my_dict, range(5,10)): chain()方法可以傳入多個可迭代對象，然后分別遍歷之。 print(value)打印結(jié)果：123frankailsa56789

此函數(shù)可以用yield from 實現(xiàn)：yield from功能 1：從一個可迭代對象中將值逐個返回。

my_list = [1,2,3]my_dict = {’frank’:’yangchao’, ’ailsa’:’liuliu’}def chain(*args, **kwargs): for itemrable in args: yield from itemrablefor value in chain(my_list, my_dict, range(5,10)): print(value)

看如下代碼：

def gen(): yield 1def g1(gen): yield from gendef main(): g = g1(gen) g.send(None)

代碼分析：此代碼中main調(diào)用了g1， main就叫作調(diào)用方， g1叫做委托方， gen 叫做子生成器yield from將會在調(diào)用方main與子生成器gen之間建立一個雙向通道。（意味著可以直接越過委托方）

例子：當委托方middle()中使用yield from 的時候，調(diào)用方main直接和子生成器sales_sum形成數(shù)據(jù)通道。

final_result = {}def sales_sum(pro_name): total = 0 nums = [] while True: x = yield print(pro_name+’銷量’, x) if not x: break total += x nums.append(x) return total, nums #程序運行到return的時候，會將return的返回值返回給委托方，即middle中的final_result[key]def middle(key): while True: #相當于不停監(jiān)聽sales_sum是否有返回數(shù)據(jù)，（本例中有三次返回） final_result[key] = yield from sales_sum(key) print(key +’銷量統(tǒng)計完成！！’)def main(): data_sets = { ’面膜’:[1200, 1500, 3000], ’手機’:[88, 100, 98, 108], ’衣服’:[280, 560,778,70], } for key, data_set in data_sets.items(): print(’start key’, key) m = middle(key) m.send(None) # 預激生成器 for value in data_set: m.send(value) m.send(None)# 發(fā)送一個None使sales_sum中的x值為None退出while循環(huán) print(final_result)if __name__ == ’__main__’: main()結(jié)果：start key 面膜面膜銷量 1200面膜銷量 1500面膜銷量 3000面膜銷量 None面膜銷量統(tǒng)計完成！！start key 手機手機銷量 88手機銷量 100手機銷量 98手機銷量 108手機銷量 None手機銷量統(tǒng)計完成！！start key 衣服衣服銷量 280衣服銷量 560衣服銷量 778衣服銷量 70衣服銷量 None衣服銷量統(tǒng)計完成！！{’面膜’: (5700, [1200, 1500, 3000]), ’手機’: (394, [88, 100, 98, 108]), ’衣服’: (1688, [280, 560, 778, 70])}

也許有人會好奇，為什么不能直接用main()函數(shù)直接去調(diào)用sales_sum呢？加一個委托方使代碼復雜化了。看以下直接用main()函數(shù)直接去調(diào)用sales_sum代碼：

def sales_sum(pro_name): total = 0 nums = [] while True: x = yield print(pro_name+’銷量’, x) if not x: break total += 1 nums.append(x) return total, numsif __name__ == ’__main__’: my_gen = sales_sum(’面膜’) my_gen.send(None) my_gen.send(1200) my_gen.send(1500) my_gen.send(3000) my_gen.send(None)輸出結(jié)果：面膜銷量 1200面膜銷量 1500面膜銷量 3000面膜銷量 NoneTraceback (most recent call last): File 'D:/MyCode/Cuiqingcai/Flask/test01.py', line 56, in <module> my_gen.send(None)StopIteration: (3, [1200, 1500, 3000])

從上述代碼可以看出，即使數(shù)據(jù)return結(jié)果出來了，還是會返回一個exception，由此可以看出yield from的一個最大優(yōu)點就是當子生成器運行時候出現(xiàn)異常，yield from可以直接自動處理這些異常。

yield from 功能總結(jié)：

子生成器生產(chǎn)的值，都是直接給調(diào)用方；調(diào)用發(fā)通過.send()發(fā)送的值都是直接傳遞給子生成器，如果傳遞None，會調(diào)用子生成器的next()方法，如果不是None，會調(diào)用子生成器的sen()方法。子生成器退出的時候，最后的return EXPR，會觸發(fā)一個StopIteration（EXPR）異常yield from 表達式的值，是子生成器終止時，傳遞給StopIteration異常的第一個參數(shù)。如果調(diào)用的時候出現(xiàn)了StopIteration異常，委托方生成器恢復運行，同時其他的異常向上冒泡。傳入委托生成器的異常里，除了GeneratorExit之后，其他所有異常全部傳遞給子生成器的.throw()方法；如果調(diào)用.throw()的時候出現(xiàn)StopIteration異常，那么就恢復委托生成器的運行，其他的異常全部向上冒泡如果在委托生成器上調(diào)用.close()或傳入GeneratorExit異常，會調(diào)用子生成器的.close()方法，沒有就不調(diào)用，如果在調(diào)用.close()時候拋出了異常，那么就向上冒泡，否則的話委托生成器跑出GeneratorExit 異常。

以上就是python 如何引入?yún)f(xié)程和原理分析的詳細內(nèi)容，更多關(guān)于python 協(xié)程的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！