Netflix Blog- Netflix Python技术的使用

这篇文章  Python at Netflix  是出自 Netflix Technology Blog

本文主要介绍python在Netflix各个组内的应用

1. 目录 隐藏

   1 Open Connect:

   2 Demand Engineering：

   3 CORE:

   4 Monitoring, alerting and auto-remediation:

   5 Information Security：

   6 Personalization Algorithms：

   7 Machine Learning Infrastructure：

   8 Notebook：

   9 Orchestration：

   10 Experimentation Platform：

   11 Partner Ecosystem：

   12 Video Encoding and Media Cloud Engineering：

   13 Netflix Animation and NVFX（视觉效果）：

   14 Content Machine Learning, Science & Analytics：

   15 参考：

   Open Connect:

   • Netflix搭建的全球CDN网络，python有广泛应用。

2.  Demand Engineering：

   • 数值分析类：numpy， scipy
   • AWS SDK：boto3 
   • Web 框架： Flask
   • 队列： RQ（Redis queue）
   • 轻量级IDE： bpython
   • 编辑工具： Jupyter Notebooks， nteract
   • Data Explorer： visualization tools
   • Data FrameWork：Semiotic

3. CORE:

   • 统计学数值分析类：numpy， scipy      ruptures    pandas

4. Monitoring, alerting and auto-remediation:

   •  Spectator   :  metris的客户端
     • 客户端： Spectator Python client 
   •  Winston and Bolt  :
     • Web 框架： Flask
     • WSGI http server： Gunicorn 
     • Flask Rest APIs  插件： Flask-RESTPlus

5. Information Security：

   • 安全监控：   Security Monkey
   • SSH资源保护： Bless
   • TLS证书生成：Lemur.
   • AWS安全部署（权限最小化）： Aardvark and Repokid
   • 数据取证 ：  Diffy   Prism，  Lanius

6. Personalization Algorithms：

   • 深度神经网络学习： TensorFlow  Keras  PyTorch
   • Gradient Boosted Decision Trees ： XGBoost    LightGBM
   • 其他相关科学运算类：numpy， scipy   pandas  sklearn  matplotlib cvxpy

7. Machine Learning Infrastructure：

   • ML Libraries: R Project   TensorFlow    XGBoost
   • NoteBooks:  nteract
   • Job Schedule: Meson  基于Mesos开发的工具，类似与Airflow

     Meson: Workflow Orchestration for Netflix Recommendations

   • Computer Resource： Titus   类似于kubernetes
   • Query Engine ：Spark
   • Data Lake ： S3

8. Notebook：

   • Jupyter Notebooks，

   • blog：Beyond Interactive: Notebook Innovation at Netflix

9. Orchestration：

   • 工具： Jupyter Notebooks     with  papermill
   • blog：Part 2: Scheduling Notebooks at Netflix
   • GenieClient：  pygenie
   • other：scrapbook

10. Experimentation Platform：

    • （Metrics库）The Metrics Repo ： 使用了PyPika   
    • （因果关系）The Causal Models library： 使用了  PyArrow and RPy2
    • （可视化）The Visualizations library： 使用了 Plotly

11. Partner Ecosystem：

    • CI infrastructure
    • test

12. Video Encoding and Media Cloud Engineering：

    • 涉及项目：vmaf and mezzfs
    • 平台： a media map-reduce platform called Archer,
    • 工具： setupmeta and pickley.

13. Netflix Animation and NVFX（视觉效果）：

    • 外部对接 与Maya and Nuke 相关业务集成使用python
    • 工具： Shotgun
    • 管理镜像： AMI（in EC2），  Docker

14. Content Machine Learning, Science & Analytics：

    •  machine learning models

参考：

Metrics 是个什么鬼 之入门教程

difference-between-docker-and-ami

Netflix 实践：1.48 亿用户观看电影，Python 在幕后提供全生命周期支持