导语： 本文是 tensorflow 手册翻译系列的第二十一篇。 本文档详细介绍协调 TFX Pipelines。 Apache Airflow Apache Airflow是一个以编程方式编写，计划和监视工作流的平台。 TFX使用Airflow将工作流编写为任务的有向无环图（DAG）。 Airflow计划程序在遵循指定的依存关系的同时在一组工作线程上执行任务。 丰富的命令行实用程序使在DAG上执行复杂的手术变得轻而易举。 丰富的用户界面使查看生产中正在运行的管道，监视进度以及在需要时对问题进行故障排除变得容易。 将工作流定义为代码时，它们将变得更具可维护性，可版本化，可测试和协作性。 有关安装和使用Apache Airflow的详细信息，请参见Apache Ai...

导语： 本文是 tensorflow 手册翻译系列的第二十篇。 本文档详细介绍了如何高级自定义 TFX 组件的作用。 目录 自定义执行器或者自定义组件 如何创建自定义组件 组件规格 执行器 组件接口 组装到TFX管道中 部署自定义组件 正文 注意：本指南基于TFX 0.14.0，并且要求TFX> = 0.14.0。 自定义执行器或自定义组件 如果在组件的输入，输出和执行属性与现有组件相同的情况下仅需要自定义处理逻辑，则自定义执行程序就足够了。当任何输入，输出或执行属性与...

导语： 本文是 tensorflow 手册翻译系列的第十九篇。 本文档详细介绍了 Pusher 组件的作用。 目录 使用 Pusher 组件 正文 Pusher组件用于在模型训练或再训练期间将经过验证的模型推入部署目标。 它依赖于ModelValidator组件来确保新模型“足够好”以投入生产。 消耗：SavedModel格式的训练模型 发出结果：相同的SavedModel，以及版本控制元数据 使用推杆组件 Pusher管道组件通常非常易于部署，几乎不需要自定义，因为所有工作都是由Pusher TFX组件完成的。 典型的代码如下所示： from tfx import components ... pusher = components.Pushe...

导语： 本文是 tensorflow 手册翻译系列的第十八篇。 本文档详细介绍了 ModelValidator 组件的作用。 目录 使用模型验证组件 正文 ModelValidator TFX管道组件可帮助您验证导出的模型，以确保它们“足够好”可以投入生产。 ModelValidator将新模型与基线（例如当前服务的模型）进行比较，以确定它们相对于基线是否“足够好”。通过评估数据集上的两个模型（例如，保留数据或黄金数据集）并计算其在指标上的表现（例如，AUC，损失）来做到这一点。如果新模型的指标相对于基线模型满足用户指定的标准（例如，AUC不低于），则模型“有福”（标记为“好”），从而向Pusher表示可以将模型推向生产环境。 消耗：来自SchemaG...

导语： 本文是 tensorflow 手册翻译系列的第十七篇。 本文档详细介绍了 Evaluator 组件的作用。 目录 评估器和 TensorFlow 模型分析 使用评估器组件 正文 Evaluator TFX管道组件对模型的训练结果进行深入分析，以帮助您了解模型如何对数据子集执行。 消耗：来自Trainer的EvalSavedModel 发射：对ML元数据的分析结果 评估器和TensorFlow模型分析 评估程序利用TensorFlow模型分析库执行分析，然后使用Apache Beam进行可伸缩处理。 使用评估器组件 评估程序管道组件通常非常易于部署，几乎不需要自定义，因为所有工作都是由评估程序TFX组件完成的。 典型的代码如下所示： fro...

导语： 本文是 tensorflow 手册翻译系列的第十六篇。 本文档详细介绍了 Trainer 组件的作用。 目录 训练器和 TensorFlow 配置一个训练器组件 正文 Trainer TFX管道组件训练TensorFlow模型。 培训师需要： tf。用于培训和评估的示例。 用户提供的模块文件，用于定义训练器逻辑。 由SchemaGen管道组件创建的数据模式，开发人员可以选择更改数据模式。 训练参数和评估参数的原型定义。 由上游Transform组件生成的可选变换图。 用于诸如热启动之类的方案的可选基本模型。 Trainer发出：一个SavedModel和一个EvalSavedModel 培训师和TensorFlow Trainer广泛使...

导语： 本文是 tensorflow 手册翻译系列的第十五篇。 本文档详细介绍了 Transform 组件的作用。 目录 安装 依赖库 兼容版本 问题 正文 TensorFlow Transform是一个用于使用TensorFlow预处理数据的库。 tf.Transform对于需要完全通过的数据很有用，例如： 通过平均值和标准偏差对输入值进行归一化。 通过在所有输入值上生成词汇表，将字符串转换为整数。 通过根据观察到的数据分布将浮点数分配给存储桶，将浮点数转换为整数。 TensorFlow内置了对单个示例或一批示例进行操作的支持。 tf.Transform扩展了这些功能，以支持对示例数据的全过程。 t...