tensorflow-serving

TensorFlow训练好的模型以TensorFlow原生方式保存成protobuf文件后可以用许多方式部署运行：

• 通过tensorflow-js可以用javascrip脚本加载模型并在浏览器中运行模型。
• 通过tensorflow-lite可以在移动和嵌入式设备上加载并运行TensorFlow模型。
• 通过tensorflow-serving可以加载模型后提供网络接口API服务，通过任意编程语言发送网络请求都可以获取模型预测结果。
• 通过TensorFlow for Java接口，可以在Java或者spark(scala)中调用TensorFlow模型进行预测。

使用tensorflow serving部署模型要完成以下步骤：

• 准备protobuf模型文件。
• 安装tensorflow serving。
• 启动tensorflow serving服务。
• 向API服务发送请求，获取预测结果。

详细的演示请参阅 tf_serving.ipynb