Creating a new kind of servable

导语: 本文是 tensorflow 手册翻译系列的第七篇。 本文档说明了如何使用一种新的可服务方式来扩展 TensorFlow Serving 。 目录 为你的服务定义一个加载器和源适配器 在管理器中对可服务对象进行排序 访问已加载的你的服务对象 高级:安排多个可服务实例共享状态 创建一种新的可食用 本文档说明了如何使用一种新的servable扩展TensorFlow Serving。最突出的可服务类型是SavedModelBundle,但定义其他类型的可服务类型,服务于模型附带的数据可能很有用。示例包括:词汇表,特征转换逻辑。任何C ++类都可以是可服务的,例如int,std :: map <string,int>或二进制文件中...
Click to read more ...

Use TensorFlow Serving with Kubernetes

导语: 本文是 tensorflow 手册翻译系列的第六篇。 本篇描述了如何使用在 Docker 容器中运行的 TensorFlow Serving 组件为TensorFlow ResNet 模型提供服务以及如何使用 Kubernetes 部署服务集群。 目录 Part 1: 安装 下载 ResNet 保存模型 Part 2: 在 Docker 中进行运行 为部署提交镜像 启动服务 查询服务 Part 3: 在 kubernetes 中进行部署 云服务...
Click to read more ...

Building Standard TensorFlow ModelServer

导语: 本文是 tensorflow 手册翻译系列的第五篇。 本篇描述如何构建一个标准的 Tensorflow 模型服务。是实际生产中部署不可或缺的参考手册。 目录 训练和导出 TensorFlow 模型 服务内核 批处理 测试和运行服务 这篇内容将向你介绍怎么使用 Tensorflow 服务组件来构建标准的 Tensorflow 模型服务,以便于动态的发现和服务新版本的 Tensorflow 训练模型。如果你知识想要使用标准服务来运行你的模型,参见 Tensorflow 服务基础手册。 这个手册使用了 Tensorflow 手册中用于手写图像(MNIST data)分类问题的简单的 Softmax 回归模型。如果你还不知道什么是 Tenso...
Click to read more ...

Advanced model server configuration - Tensorflow Serving Configuration

导语: 本文是 tensorflow 手册翻译系列的第四篇。 本篇描述了将介绍 tensorflow 服务的众多配置内容。 目录 概览 模型服务配置 重新加载模型服务配置 模型服务配置细节 配置一个模型 服务一个指定版本的模型 服务多个指定版本的模型 为模型版本分配字符串标签,以简化告密和回滚。 监控配置 批处理配置 杂项标志 正文 Tensorflow服务配置 在本指南中,我们将...
Click to read more ...

Architecture

导语: 本文是 tensorflow 手册翻译系列的第三篇。 本篇描述了 tensorflow 服务的体系结构。通过对结构的深入,可以加深进一步的理解。 目录 关键概念 可服务化 加载器 源 管理器 核心 可服务化的生命周期 可扩充性 版本处理 源 加载器 批处理器 ...
Click to read more ...

Serving a TensorFlow Model

导语: 本文是 tensorflow 手册翻译系列的第二篇。 原文链接:https://www.tensorflow.org/tfx/serving/serving_basic 本文讲述如何使一个 TensorFlow 模型作为一个服务启用。 目录 训练和导出 Tensorflow 模型 使用标准的模型服务加载导出模型 测试服务 这本手册展示了怎么使用 Tensorflow 服务组件取导出一个 Tensorflow 模型,并使用一个标准的 Tensorflow 模型服务 tensorflow_model_server 来实现服务的功能。如果你已经熟悉 Tensorflow 服务了,希望知道更多服务内部的工作原理,可以参见Tensorflow 服务...
Click to read more ...

TensorFlow Serving with Docker

导语: 本文是 tensorflow 手册翻译系列的第一篇。 原文链接:https://www.tensorflow.org/tfx/serving/docker 完整的项目首先需要基本的环境搭建作为基础,很多人往往是卡在了基础环境框架的搭建上了,因此对环境搭建的学习也是非常关键的。 目录 安装 Docker 使用 Docker 开启服务 拉取一个服务镜像 运行一个服务镜像 创建自己的服务镜像 服务的例子 使用 GPU 进行 Docker 服务 安装...
Click to read more ...