TensorFlow Transform
导语:
本文是 tensorflow 手册翻译系列的第二十八篇。
本文档介绍转换库的情况。
目录
安装
依赖库
兼容版本
问题
正文
TensorFlow Transform是一个用于使用TensorFlow预处理数据的库。 tf.Transform对于需要完全通过的数据很有用,例如:
通过平均值和标准偏差对输入值进行归一化。
通过在所有输入值上生成词汇表,将字符串转换为整数。
通过根据观察到的数据分布将浮点数分配给存储桶,将浮点数转换为整数。
TensorFlow内置了对单个示例或一批示例进行操作的支持。 tf.Transform扩展了这些功能,以支持对示例数据的全过程。
tf.Transform的...
Click to read more ...
Transform library for non-TFX users
导语:
本文是 tensorflow 手册翻译系列的第二十七篇。
本文档介绍转换库的情况。
转换也可以作为独立库使用。 大多数库文档与TFX用户无关,因为TFX用户仅构造preprocessing_fn,其余的Transform库调用则由Transform组件进行。
Click to read more ...
Get started with Tensorflow Data Validation
导语:
本文是 tensorflow 手册翻译系列的第二十六篇。
本文档详细介绍数据验证的实践过程。
目录
计算描述性数据统计
在 google 云上运行
根据数据推断模式
检查数据中的错误
将数据集的统计信息与模式进行匹配
根据示例检查错误
模式环境
检查数据的歪斜和趋势
编写自定义数据连接器
正文
Tensorflow数据验证(TFDV)可以分析训练和提供数据以:
计算描述性统计数据,
推断一个模式,
检测数据异常。
核心API支持每一项功能,其便捷方法建立在顶部,并且可以在笔记本的上下文中调用...
Click to read more ...
TensorFlow Data Validation
导语:
本文是 tensorflow 手册翻译系列的第二十五篇。
本文档详细介绍探索和验证机器学习数据。
目录
从 Pypi 进行安装
从 Docker 进行构建
安装 Docker
克隆 TFDV 库
构建 pip 包
安装 pip 包
从源进行构建
先决条件
克隆 TFDV 库
构建 pip 包
安装 pip 包
...
Click to read more ...
TensorFlow Data Validation: Checking and analyzing your data
导语:
本文是 tensorflow 手册翻译系列的第二十四篇。
本文档详细介绍如何分析和转换数据。
目录
TensorFlow 数据验证
总揽
以例子验证为基础的模式
训练服务的歪斜检测
趋势检测
使用可视化检查数据
确定
正文
一旦数据进入TFX管道,就可以使用TFX组件进行分析和转换。您甚至可以在训练模型之前使用这些工具。
分析和转换数据的原因很多:
在数据中查找问题。常见问题包括:
缺少数据,例如具有空值的要素。
标签被视...
Click to read more ...
Orchestrating TFX Pipelines Kubeflow
导语:
本文是 tensorflow 手册翻译系列的第二十三篇。
本文档详细介绍协调 TFX Pipelines。
正文
Kubeflow是一个开源ML平台,致力于使机器学习(ML)工作流在Kubernetes上的部署变得简单,可移植和可扩展。 Kubeflow Pipelines是Kubeflow平台的一部分,该平台支持在Kubeflow上组合和执行可重复的工作流,并结合了实验和基于笔记本的体验。 Kubernetes上的Kubeflow Pipelines服务包括托管的元数据存储,基于容器的编排引擎,笔记本服务器和UI,可帮助用户大规模开发,运行和管理复杂的ML管道。 Kubeflow Pipelines SDK允许以编程方式创建和共享组件,组成和管线。
有关...
Click to read more ...
Orchestrating TFX Pipelines Beam
导语:
本文是 tensorflow 手册翻译系列的第二十二篇。
本文档详细介绍协调 TFX Pipelines。
正文
一些TFX组件依赖Beam进行分布式数据处理。 另外,TFX可以使用Apache Beam来协调和执行管道DAG。 Beam Orchestrator使用的BeamRunner与用于组件数据处理的BeamRunner不同。 使用默认的DirectRunner设置,Beam Orchestrator可以用于本地调试,而不会产生额外的Airflow或Kubeflow依赖关系,从而简化了系统配置。
有关详细信息,请参见Beam上的TFX示例。
Click to read more ...