TFX Airflow Tutorial

Tutorial 环境要求 Linux/MacOS Python 3.9 及更高版本 Virtualenv Git 环境配置 cd virtualenv -p python3 tfx-env source ~/tfx-env/bin/activate mkdir tfx; cd tfx git clone https://github.com/tensorflow/tfx.git cd ~/tfx/tfx/tfx/examples/workshop/setup ./setup_demo.sh 创建流水线框架 1. 打开一个新的终端窗口,在该窗口中执行下面的命令,启动 airflow 管理服务 ...
Click to read more ...

K8s minikube operation 1

导语: K8s 基本操作系列之 总结 正文 问题 Exiting due to DRV_AS_ROOT: The “docker” driver should not be used with root privileges. 解决方法: 因为我是用root账号登录操作的。所以提示不能用root账号启动,得用别的账号。所以要创建一个新的账号进行操作,创建一个test账号进行启动。 adduser test passwd test 设置密码 sudo usermod -aG docker $USER && newgrp docker 将tomx添加到docker组 su test 切换用户 X Exiting due to DRV_N...
Click to read more ...

TCP 粘包原理

导语: TCP 粘包原理。 总结 TCP 面向字节流的数据传输方式 接收端根据需要在消息里加上识别消息边界的信息。不加就可能出现粘包问题。 TCP 粘包跟Nagle算法有关系,但关闭 Nagle 算法并不解决粘包问题。 UDP 是基于数据报的传输协议,不会有粘包问题。 IP 层也切片,但是因为不关心消息里有啥,因此有不会有粘包问题。 TCP 发送端可以发 10 次字节流数据,接收端可以分 100 次去取;UDP 发送端发了 10 次数据报,那接收端就要在 10 次收完。 正文 四层网络协议,应用层、传输层、网络层、接口层。消息再每进入一层时,都会多加一个报头。这个报头记录着消息从哪来,到哪去,以及消息多长等消息。 再从消息发到网络的时候给消息...
Click to read more ...

TFX Airflow Tutorial

导语: 本文是 tensorflow 手册翻译系列的第三十九篇。 本文档介绍 TFX Airflow 的使用手册。 目录 介绍 学习更多 手把手 先决条件 依赖包 MacOS 环境 手册资料 你需要做的工作 添加每步需要的代码 芝加哥出租车数据集 模型目标 - 实现二分类 步骤 1: 安装环境 步骤 2: 创建初始的管道框架 Hello World ...
Click to read more ...

Serving Models

导语: 本文是 tensorflow 手册翻译系列的第三十八篇。 本文档介绍使模型服务化。 目录 介绍 正文 介绍 TensorFlow Serving是一个针对机器学习模型的灵活,高性能的服务系统,专为生产环境而设计。 使用TensorFlow Serving可以轻松部署新算法和实验,同时保持相同的服务器体系结构和API。 TensorFlow Serving提供与TensorFlow模型的现成集成,但可以轻松扩展以服务于其他类型的模型和数据。 提供有关TensorFlow Serving的详细开发人员文档: 架构概述 服务器API REST客户端API
Click to read more ...

Installation

导语: 本文是 tensorflow 手册翻译系列的第三十七篇。 本文档介绍模型服务器的安装。 目录 安装模型服务器 使用 Docker 进行安装 使用 APT 进行安装 从源码进行构建 TensorFlow 服务 Python API PIP 包 正文 安装ModelServer 使用Docker安装 使用TensorFlow Serving的最简单,最直接的方法是使用Docker映像。除非您有在容器中运行无法满足的特定需求,否则我们强烈建议您使用此路线。 提示:这也是使TensorFlow Serving与GPU支持一起工作的最简单方法。 使用APT安...
Click to read more ...

ML Metadata

导语: 本文是 tensorflow 手册翻译系列的第三十六篇。 本文档介绍机器学习元数据。 目录 MLMD启用的功能 元数据后台存储和存储链接配置 元数据存储 概念 使用机器元数据跟踪机器学习流 使用远程 grpc 服务器 正文 ML元数据(MLMD)是一个用于记录和检索与ML开发人员和数据科学家工作流程相关联的元数据的库。 MLMD是TensorFlow Extended(TFX)不可或缺的一部分,但其设计使其可以独立使用。作为更广泛的TFX平台的一部分,大多数用户仅在检查管道组件的结果时才与MLMD交互,例如在笔...
Click to read more ...