一、Quick Start

TensorFlow Serving 的部署方式有很多：

• 使用Docker安装Tensorflow Serving （推荐）
• 在没有Docker的情况下安装Tensorflow Serving （不推荐）
• 使用Docker从源代码构建Tensorflow服务
• 在Kubernetes上部署Tensorflow服务

在 Quick Start 中以 使用Docker安装Tensorflow Serving 为例。

0x00 变量

服务部署及调用时需要用到的变量有：

无标题

0x01 使用docker安装TensorFlow Serving

docker pull tensorflow/serving

0x02 准备模型，并按版本布置目录

将包含saved_model.pb , assets , variables 的模型目录以数字版本号命名，服务会自动调用目录内版本号最高的模型文件，模型目录示例如下：

e.g.

# 此时模型目录 $MODEL_PATH = "/Users/eric/work/wheel/tmp/tensorflow_serving/fm_models"

➜ tree /Users/eric/work/wheel/tmp/tensorflow_serving/fm_models
/Users/eric/work/wheel/tmp/tensorflow_serving/fm_models
├── 001
│   ├── assets
│   ├── saved_model.pb
│   └── variables
│       ├── variables.data-00000-of-00001
│       └── variables.index
└── 002
    ├── assets
    ├── saved_model.pb
    └── variables
        ├── variables.data-00000-of-00001
        └── variables.index

6 directories, 6 files

0x03 以docker run的方式简单部署TensorFlow Serving

运行方式模板为：