python非同步程式設計之asyncio(百萬併發)

前言:python由於GIL(全域性鎖)的存在,不能發揮多核的優勢,其效能一直飽受詬病。然而在IO密集型的網路程式設計裡,非同步處理比同步處理能提升成百上千倍的效率,彌補了python效能方面的短板,如最新的微服務框架japronto,resquests per second可達百萬級。

python還有一個優勢是庫(第三方庫)極為豐富,運用十分方便。asyncio是python3。4版本引入到標準庫,python2x沒有加這個庫,畢竟python3x才是未來啊,哈哈!python3。5又加入了async/await特性。

在學習asyncio之前,我們先來理清楚

同步/非同步的概念

·同步

是指完成事務的邏輯,先執行第一個事務,如果阻塞了,會一直等待,直到這個事務完成,再執行第二個事務,順序執行。。。

·非同步

是和同步相對的,非同步是指在處理呼叫這個事務的之後,不會等待這個事務的處理結果,直接處理第二個事務去了,透過狀態、通知、回撥來通知呼叫者處理結果。

一、asyncio

下面透過舉例來對比

同步程式碼和非同步程式碼編寫方面的差異

,其次看下兩者效能上的差距,我們使用sleep(1)模擬耗時1秒的io操作。

·同步程式碼

import timedef hello(): time。sleep(1)def run(): for i in range(5): hello() print(‘Hello World:%s’ % time。time()) # 任何偉大的程式碼都是從Hello World 開始的!if __name__ == ‘__main__’: run()

輸出:(間隔約是1s)

import timedef hello(): time。sleep(1)def run(): for i in range(5): hello() print(‘Hello World:%s’ % time。time()) # 任何偉大的程式碼都是從Hello World 開始的!if __name__ == ‘__main__’: run()

·非同步程式碼

import timeimport asyncio# 定義非同步函式async def hello(): await asyncio。sleep(1) print(‘Hello World:%s’ % time。time())if __name__ ==‘__main__’: loop = asyncio。get_event_loop() tasks = [hello() for i in range(5)] loop。run_until_complete(asyncio。wait(tasks))

輸出:

Hello World:1527595104。8338501Hello World:1527595104。8338501Hello World:1527595104。8338501Hello World:1527595104。8338501Hello World:1527595104。8338501

async def 用來定義非同步函式,await 表示當前協程任務等待睡眠時間,允許其他任務執行。然後獲得一個事件迴圈,主執行緒呼叫asyncio。get_event_loop()時會建立事件迴圈,你需要把非同步的任務丟給這個迴圈的run_until_complete()方法,事件迴圈會安排協同程式的執行。

二、aiohttp

如果需要併發http請求怎麼辦呢,通常是用requests,但requests是同步的庫,如果想非同步的話需要引入aiohttp。

這裡引入一個類,from aiohttp import ClientSession,首先要建立一個session物件,然後用session物件去開啟網頁

。session可以進行多項操作,比如post, get, put, head等。

基本用法:

async with ClientSession() as session: async with session。get(url) as response:

aiohttp非同步實現的例子:

import asynciofrom aiohttp import ClientSessiontasks = []url = “https://www。baidu。com/{}”async def hello(url): async with ClientSession() as session: async with session。get(url) as response: response = await response。read() print(response)if __name__ == ‘__main__’: loop = asyncio。get_event_loop() loop。run_until_complete(hello(url))

首先async def 關鍵字定義了這是個非同步函式,await 關鍵字加在需要等待的操作前面,response。read()等待request響應,是個耗IO操作。然後使用ClientSession類發起http請求。

多連結非同步訪問

如果我們需要請求多個URL該怎麼辦呢,同步的做法訪問多個URL只需要加個for迴圈就可以了。但非同步的實現方式並沒那麼容易,

在之前的基礎上需要將hello()包裝在asyncio的Future物件中,然後將Future物件列表作為任務傳遞給事件迴圈

import timeimport asynciofrom aiohttp import ClientSessiontasks = []url = “https://www。baidu。com/{}”async def hello(url): async with ClientSession() as session: async with session。get(url) as response: response = await response。read()# print(response) print(‘Hello World:%s’ % time。time())def run(): for i in range(5): task = asyncio。ensure_future(hello(url。format(i))) tasks。append(task)if __name__ == ‘__main__’: loop = asyncio。get_event_loop() run() loop。run_until_complete(asyncio。wait(tasks))

輸出:

Hello World:1527754874。8915546Hello World:1527754874。899039Hello World:1527754874。90004Hello World:1527754874。9095392Hello World:1527754874。9190395

收集http響應

好了,上面介紹了訪問不同連結的非同步實現方式,但是我們只是發出了請求,如果要把響應一一收集到一個列表中,最後儲存到本地或者打印出來要怎麼實現呢,

可透過asyncio.gather(*tasks)將響應全部收集起來

,具體透過下面例項來演示。

import timeimport asynciofrom aiohttp import ClientSessiontasks = []url = “https://www。baidu。com/{}”async def hello(url): async with ClientSession() as session: async with session。get(url) as response:# print(response) print(‘Hello World:%s’ % time。time()) return await response。read()def run(): for i in range(5): task = asyncio。ensure_future(hello(url。format(i))) tasks。append(task) result = loop。run_until_complete(asyncio。gather(*tasks)) print(result)if __name__ == ‘__main__’: loop = asyncio。get_event_loop() run()

輸出:

Hello World:1527765369。0785167Hello World:1527765369。0845182Hello World:1527765369。0910277Hello World:1527765369。0920424Hello World:1527765369。097017[b‘<!DOCTYPE html>\r\n<!——STATUS OK——>\r\n\r\n\r\n……

異常解決

假如你的併發達到2000個,程式會報錯:ValueError: too many file descriptors in select()。報錯的原因字面上看是 Python 調取的 select 對開啟的檔案有最大數量的限制,這個其實是作業系統的限制,linux開啟檔案的最大數預設是1024,windows預設是509,超過了這個值,程式就開始報錯。這裡我們有

三種方法解決

這個問題:

1.限制併發數量

。(一次不要塞那麼多工,或者限制最大併發數量)

2.使用回撥的方式

3.修改作業系統開啟檔案數的最大限制,在系統裡有個配置檔案可以修改預設值,具體步驟不再說明了。

不修改系統預設配置的話,個人推薦限制併發數的方法,設定併發數為500,處理速度更快。

#coding:utf-8import time,asyncio,aiohttpurl = ’https://www。baidu。com/‘async def hello(url,semaphore): async with semaphore: async with aiohttp。ClientSession() as session: async with session。get(url) as response: return await response。read()async def run(): semaphore = asyncio。Semaphore(500) # 限制併發量為500 to_get = [hello(url。format(),semaphore) for _ in range(1000)] #總共1000任務 await asyncio。wait(to_get)if __name__ == ’__main__‘:# now=lambda :time。time() loop = asyncio。get_event_loop() loop。run_until_complete(run()) loop。close()