PyTorch,你是不是想用Julia?不,我們還想要Python的生態

機器之心報道

機器之心編輯部

「我們已經從 Julia 中獲得了很多靈感,但我們還是想要 Python。」

「人生苦短,我用 Python。」這是 Python 開發領域廣泛流傳的一句話。在過去的幾年中,Python 也的確憑藉其在易用性、生態等方面的優勢一路高歌猛進,在很多程式語言排行榜中穩居前三。

但伴隨著 Julia 等新勢力的崛起,這種局面正在發生變化。在前段時間出爐的「Stack Overflow 2021 全球開發者調查報告」中,Python 受開發者喜愛程度僅排第六,而 Julia 則排在了第五。雖然生態等方面依然存在不足,但毋庸置疑,Julia 已經成為 Python 有力的競爭對手,其競爭優勢包括速度快、簡潔等。在 Julia 中,我們可以用類似 Python 的優美語句獲得類似 C 的效能。

最近,這種趨勢甚至影響到了主流深度學習框架對程式語言的選擇,比如 PyTorch:

PyTorch,你是不是想用Julia?不,我們還想要Python的生態

「PyTorch 將走向何方?為什麼它越來越像 Julia,但又不完全像?」這是 PyTorch 核心開發人員 Edward Z。 Yang 參與討論的一個問題。在這個問題下方,他回答道:

我們曾經開玩笑地說:下一個版本的 PyTorch 是用 Julia 編寫的。之所以廢棄了 Lua Torch 而主要使用 Python 編寫的 PyTorch,一個重要的原因是想利用 Python 龐大的生態系統。直到今天,都很難有一種新語言能夠克服 Python 的網路效應。

然而,最近我一直在思考我們在 PyTorch 中進行的各種專案,包括:

functorch:直接用 Python 編寫像 vmap/grad 這樣的轉換,以前只能作為排程程式的 C++ 擴充套件;

FX:圖形轉換,以前只能藉助 C++ TorchScript 完成;

Python autograd implementation:對 autograd 實現做了實驗性更改,以前只能用 C++ 進行。

這些專案都有一個共同點:有些功能以前只能用 C++ 實現,而現在 PyTorch 使得用 Python 完成這些功能成為可能,提升了 hackability,並讓開發變得更加簡易。

PyTorch 以前主要是用 Python 編寫的,後來我們將所有內容都移到了 C++,以使其執行得更快。因此,我們越來越多地處於這樣一種情況:我們想要擁有這塊蛋糕(hackability),同時吃掉它(效能)。

這與 Julia 講了近十年的故事不謀而合。Julia 的開發團隊一直認為:

一種語言必須能被編譯為高效的程式碼,Julia 語言添加了一些限制(型別穩定性),以確保這一點;

一種語言必須允許後續可擴充套件(多重派發,multiple dispatch),Julia 語言圍繞 JIT 編譯組織生態系統使這一點成為可能。

上述兩個特性的結合為使用者提供了一個兼具動態語言靈活性(可擴充套件性)和靜態語言效能(高效程式碼)的系統。

實際上這也是 PyTorch 一直追求的。我們已經從 Julia 語言中獲得了很多靈感,例如 ATEN 的作者 Zachary DeVito 將 PyTorch 排程器中多重派發的設計靈感歸功於 Julia。

總體來說,我認為 Julia 可以作為一個非常強大的願景,並且相比於 Julia,PyTorch 本身也有一些優勢。例如 Julia 經常稱使用者可以直接使用數學運算編寫迴圈並將其編譯為高效程式碼,而我們不需要嘗試這樣做,因為我們的核心非常複雜,在任何情況下都能實現最佳的低級別實現。

為什麼不直接使用 Julia?因為我們既想要 Julia 的願景,也想要 Python 強大的生態系統。這個方向具有巨大的潛力,但我們也有很多要做的工作和許多未解決的設計問題。我對接下來的發展感到非常興奮。

從這份回答我們可以看出,PyTorch 逐漸靠近 Julia 已成定勢,但鑑於 Python 在生態系統方面的絕對優勢,下一代 PyTorch 不太可能直接用 Julia 編寫。

對於這一做法,有人表示非常不理解。ta 認為,以 PyTorch 的生態號召力,如果下一版他們直接宣佈用 Julia,那麼生態問題很快就會迎刃而解。

PyTorch,你是不是想用Julia?不,我們還想要Python的生態

而且,長遠來看,轉向 Julia 似乎收益更高。

PyTorch,你是不是想用Julia?不,我們還想要Python的生態

但也有人認為,PyTorch 的這種做法其實是為使用者著想,即把麻煩留給自己,把簡單留給使用者,這是一種非常值得肯定的態度。

如果你也是一位 PyTorch 使用者,你會贊成哪種做法?歡迎在評論區留言討論。

參考連結:

https://dev-discuss。pytorch。org/t/where-we-are-headed-and-why-it-looks-a-lot-like-julia-but-not-exactly-like-julia/276

https://news。ycombinator。com/item?id=29354474