PyCon 是全世界最大的以 Python 編程語言 為主題的技術(shù)大會，大會由 Python 社區(qū)組織，每年舉辦一次。在 Python 2017 上，Instagram 的工程師們帶來了一個有關(guān) Python 在 Instagram 的主題演講，同時還分享了 Instagram 如何將整個項目運行環(huán)境升級到 Python 3 的故事。本文為該次演講的內(nèi)容摘要，由 Python 愛好者朱雷撰寫。

• 擴展 Django Models 使其支持 Sharding （一種數(shù)據(jù)庫分片技術(shù)）。
• 手動關(guān)閉 GC（垃圾回收）來提升 Python 內(nèi)存管理效率，他們同樣也寫過一篇博客來說明這件事情：Dismissing Python Garbage Collection at Instagram。
• 在位于不同地理位置的多個數(shù)據(jù)中心部署整套系統(tǒng)。

1. 專注于定位問題、解決問題 - 而不是工具本身的各種花花綠綠的特性
2. 使用那些經(jīng)過市場驗證過的成熟技術(shù)方案 - 而不用被工具本身的問題所煩擾
3. 用戶至上：專注于用戶所能看到的新特性，為用戶帶去價值

At Instagram, our bottleneck is development velocity, not pure code execution.

• 開發(fā)工具來幫助調(diào)優(yōu)：Instagram 開發(fā)了很多涵蓋各個層面的工具，來幫助他們進(jìn)行性能調(diào)優(yōu)以及找到性能瓶頸。
• 使用 C/C++ 來重寫部分組件：把那些穩(wěn)定而且對性能最敏感的組件，使用 C 或 C++ 來重寫，比如訪問 memcache 的 library。
• 使用 Cython：Cython 也是他們用來提升 Python 效率的法寶之一。

1. 新特性：類型注解 Type Annotations

def?compose_from_max_id(max_id):
'''@param str max_id'''

2、性能

1. 不停機，不能有任何的服務(wù)因此不可用
2. 不能影響產(chǎn)品新特性的開發(fā)

• Instagram 的 Codebase 每天都在頻繁更新，在開發(fā) Python 3 分支的過程中，讓新分支與現(xiàn)有 master 分支保持同步開銷極大，同時極易出錯
• 最終將 Python 3 分支這個改動非常多的分支合并回 Master 擁有非常高的風(fēng)險
• 只有少數(shù)幾個工程師在 Python 3 分支上專職負(fù)責(zé)升級工作，其他想幫助遷移工作的工程師無法參與進(jìn)來

• 拒絕引入所有不兼容 Python 3 的新 package
• 去掉所有不再使用的 package
• 替換那些不兼容 Python 3 的 package

• Instagram 的單元測試沒有做到 100% 的代碼覆蓋率
• 很多第三方模塊都使用了 mock 技術(shù)，而 mock 的行為與真實的線上服務(wù)可能會有所不同

mymac?= hmac.new('abc') TypeError: key: expected bytes or bytearray, but got?'str'

value =?'abc'if?isinstance(value, six.text_type): value = value.encode(encoding='utf-8') mymac = hmac.new(value)

mymac?= hmac.new(ensure_binary('abc'))

memcache_data?= pickle.dumps(data, pickle.HIGHEST_PROTOCOL)data = pickle.loads(memcache_data)

ValueError: unsupported pickle protocol: 4

map()?filter() dict.items()

CYTHON_SOURCES = [a.pyx, b.pyx, c.pyx] builds = map(BuildProcess, CYTHON_SOURCES)while?any(not?build.done()?for?build?in?builds): pending = [build?for?build?in?builds?if?not?build.started()] 

builds?= list(map(BuildProcess, CYTHON_SOURCES))

>>> testdict = {'a': 1, 'b': 2, 'c': 3}>>> json.dumps(testdict)

# Python2'{"a": 1, "c": 3, "b": 2}'# Python 3.5.1'{"c": 3, "b": 2, "a": 1}'    # or'{"c": 3, "a": 1, "b": 2}'# Python 3.6'{"a": 1, "b": 2, "c": 3}'

>>> json.dumps(testdict, sort_keys=True)'{"a": 1, "b": 2, "c": 3}'

• 每次請求產(chǎn)生的 CPU 指令數(shù)（越低越好）
• 每秒能夠處理的請求數(shù)（越高越好）

if uwsgi.opt.get('optimize_mem', None) == 'True':    optimize_mem()

• 節(jié)約了 12% 的整體 CPU 使用率（Django/uwsgi）
• 節(jié)約了 30% 的內(nèi)存使用（celery）

• 類型注解：Instagram 的整個 codebase 里已經(jīng)有 2% 的代碼添加上了類型注解，同時他們還開發(fā)了一些工具來輔助開發(fā)者添加類型提示
• asyncio：他們在單個接口中利用 asynio 平行的去做多件事情，最終降低了 20-30% 的請求延遲。
• 社區(qū)：他們與 Intel 的工程師聯(lián)合，幫助他們更好的對 CPU 利用率進(jìn)行調(diào)優(yōu)。同時還開發(fā)了很多新的工具，幫助他們進(jìn)行性能調(diào)優(yōu)

• Python + Django 的組合完全可以負(fù)載用戶數(shù)以 10 億記的服務(wù)，如果你正準(zhǔn)備開始一個項目，放心使用 Python 吧！
• 完善的單元測試對于復(fù)雜項目是非常有必要的。如果沒有那『成千上萬的單元測試』。很難想象 Instagram 的遷移項目可以成功進(jìn)行下去。
• 開發(fā)者和同事也是你的產(chǎn)品用戶，利用好他們。用他們?yōu)槟愕男绿匦园l(fā)布前多一道測試。
• 完全基于主分支的開發(fā)流程，可以給你更快的迭代速度。前提是擁有完善的單元測試和持續(xù)部署流程。
• Python 3 是大勢所趨，如果你正準(zhǔn)備開始一個新項目，無需遲疑，擁抱 Python 3 吧！

猜您喜歡：
?戳我，查看GAN的系列專輯~！
一頓午飯外賣，成為CV視覺前沿弄潮兒！
CVPR 2022 | 25+方向、最新50篇GAN論文
?ICCV 2021 | 35個主題GAN論文匯總
超110篇！CVPR 2021最全GAN論文梳理
超100篇！CVPR 2020最全GAN論文梳理

拆解組新的GAN：解耦表征MixNMatch
StarGAN第2版：多域多樣性圖像生成

附下載 |?《可解釋的機器學(xué)習(xí)》中文版
附下載 |《TensorFlow 2.0 深度學(xué)習(xí)算法實戰(zhàn)》
附下載 |《計算機視覺中的數(shù)學(xué)方法》分享

《基于深度學(xué)習(xí)的表面缺陷檢測方法綜述》
《零樣本圖像分類綜述: 十年進(jìn)展》
《基于深度神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)綜述》