The ExampleValidator TFX Pipeline Component

导语: 本文是 tensorflow 手册翻译系列的第十四篇。 本文档详细介绍了 ExampleValidator 组件的作用。 目录 例子验证器和 TensorFlow 数据验证 使用例子验证器组件 ExampleValidator管道组件可识别训练和服务数据中的异常。它可以检测数据中不同类别的异常。例如,它可以: 通过将数据统计信息与编码用户期望的模式进行比较来执行有效性检查 通过比较培训和服务数据来检测培训服务偏斜。 通过查看一系列数据来检测数据漂移。 ExampleValidator管道组件通过将StatisticsGen管道组件所计算的数据统计信息与模式进行比较,来识别示例数据中的任何异常。推断的架构将输入数据期望满足的属性进行编码,并且开...
Click to read more ...

The SchemaGen TFX Pipeline Component

导语: 本文是 tensorflow 手册翻译系列的第十三篇。 本文档详细介绍了 SchemaGen 组件的作用。 目录 SchemaGen 和 TensorFlow 数据验证 使用 SchemaGen 组件 正文 某些TFX组件使用对输入数据的描述(称为模式)。 模式是schema.proto的实例。 它可以指定要素值的数据类型,是否在所有示例中都必须存在要素,允许的值范围以及其他属性。 SchemaGen管道组件将通过从训练数据中推断类型,类别和范围来自动生成模式。 消耗:来自StatisticsGen组件的统计信息 发射:数据架构原型 这是模式原型的摘录: ... feature { name: "age" value_count ...
Click to read more ...

The StatisticsGen TFX Pipeline Component

导语: 本文是 tensorflow 手册翻译系列的第十二篇。 本文档详细介绍了 StatisticsGen 组件的作用。 目录 StatisticsGen 和 TensorFlow 数据验证 使用 StatisticsGen 组件 StatisticsGen TFX管道组件会生成有关训练和服务数据的功能统计信息,其他管道组件可以使用这些统计信息。 StatisticsGen使用Beam缩放到大型数据集。 消耗:由ExampleGen管道组件创建的数据集。 发射:数据集统计。 StatisticsGen和TensorFlow数据验证 StatisticsGen广泛使用TensorFlow数据验证从数据集中生成统计信息。 使用StatsGen组件 S...
Click to read more ...

The ExampleGen TFX Pipeline Component

导语: 本文是 tensorflow 手册翻译系列的第十一篇。 本文档详细介绍了 ExampleGen 组件的作用。 目录 ExampleGen 和其他组件 如何使用一个 ExampleGen 组件 间隔、版本和分割 自定义输入和输出分割 间隔 版本 自定义 ExampleGen 文件基础的 ExampleGen 查询基础的 ExampleGen 正文 ExampleGen TFX Pipeline组件将数据提取到TFX管道中。...
Click to read more ...

SignatureDefs in SavedModel for TensorFlow Serving

导语: 本文是 tensorflow 手册翻译系列的第十篇。 本文档提供了 SavedModel 中 SignatureDef 的预期用法示例,这些示例映射到 TensorFlow Serving 的 API 。 目的 本文档提供了SavedModel中SignatureDef的预期用法示例,这些示例映射到TensorFlow Serving的API。 总览 SignatureDef定义TensorFlow图中支持的计算的签名。 SignatureDefs旨在提供通用支持以标识函数的输入和输出,并且可以在构建SavedModel时指定。 背景 TF-Exporter和SessionBundle使用的签名在概念上相似,但是要求用户区分命名签名和默认签名,以便在加载...
Click to read more ...

Serving TensorFlow models with custom ops

导语: 本文是 tensorflow 手册翻译系列的第九篇。 本文档说明了一些 tensorflow ops 库的相关内容。 目录 通过 op 源复制到 Serving 项目中 为 op 构建静态库 使用链接的 op 构建 ModelServer 服务包含您的自定义操作的模型 发送推理请求以手动测试操作 TensorFlow预先构建了一个广泛的ops和op内核库(实现),这些库针对不同的硬件类型(CPU,GPU等)进行了微调。这些操作将自动链接到TensorFlow Serving ModelServer二进制文件中,而无需用户进行任何其他工作。但是,有两种用例要求用户将操作显式链接到ModelServer: 您已经编写了自己的自定义操作...
Click to read more ...

Creating a module that discovers new servable paths

导语: 本文是 tensorflow 手册翻译系列的第八篇。 本文档说明了如何扩展 TensorFlow Serving 以监视不同的存储系统,以发现要服务的新(版本)模型或数据。 本文档说明了如何扩展TensorFlow Serving以监视不同的存储系统,以发现要服务的新(版本)模型或数据。特别是,它涵盖了如何创建和使用一个模块来监视存储系统路径以查看新子路径的出现,其中每个子路径代表要加载的新可服务版本。这种模块称为Source ,因为它发出类型为StoragePath(类型定义为字符串)的对象。它可以与SourceAdapter组成,该SourceAdapter从源发现的给定路径创建可服务的Loader。 首先,关于一般性的说明 不需要使用路径作为可处理数...
Click to read more ...