TFX Airflow Tutorial
Tutorial
环境要求
Linux/MacOS
Python 3.9 及更高版本
Virtualenv
Git
环境配置
cd
virtualenv -p python3 tfx-env
source ~/tfx-env/bin/activate
mkdir tfx; cd tfx
git clone https://github.com/tensorflow/tfx.git
cd ~/tfx/tfx/tfx/examples/workshop/setup
./setup_demo.sh
创建流水线框架
1. 打开一个新的终端窗口,在该窗口中执行下面的命令,启动 airflow 管理服务
...
Click to read more ...
K8s minikube operation 1
导语:
K8s 基本操作系列之
总结
正文
问题
Exiting due to DRV_AS_ROOT: The “docker” driver should not be used with root privileges.
解决方法:
因为我是用root账号登录操作的。所以提示不能用root账号启动,得用别的账号。所以要创建一个新的账号进行操作,创建一个test账号进行启动。
adduser test
passwd test 设置密码
sudo usermod -aG docker $USER && newgrp docker 将tomx添加到docker组
su test 切换用户
X Exiting due to DRV_N...
Click to read more ...
TCP 粘包原理
导语:
TCP 粘包原理。
总结
TCP 面向字节流的数据传输方式
接收端根据需要在消息里加上识别消息边界的信息。不加就可能出现粘包问题。
TCP 粘包跟Nagle算法有关系,但关闭 Nagle 算法并不解决粘包问题。
UDP 是基于数据报的传输协议,不会有粘包问题。
IP 层也切片,但是因为不关心消息里有啥,因此有不会有粘包问题。
TCP 发送端可以发 10 次字节流数据,接收端可以分 100 次去取;UDP 发送端发了 10 次数据报,那接收端就要在 10 次收完。
正文
四层网络协议,应用层、传输层、网络层、接口层。消息再每进入一层时,都会多加一个报头。这个报头记录着消息从哪来,到哪去,以及消息多长等消息。 再从消息发到网络的时候给消息...
Click to read more ...
TFX Airflow Tutorial
导语:
本文是 tensorflow 手册翻译系列的第三十九篇。
本文档介绍 TFX Airflow 的使用手册。
目录
介绍
学习更多
手把手
先决条件
依赖包
MacOS 环境
手册资料
你需要做的工作
添加每步需要的代码
芝加哥出租车数据集
模型目标 - 实现二分类
步骤 1: 安装环境
步骤 2: 创建初始的管道框架
Hello World
...
Click to read more ...
Serving Models
导语:
本文是 tensorflow 手册翻译系列的第三十八篇。
本文档介绍使模型服务化。
目录
介绍
正文
介绍
TensorFlow Serving是一个针对机器学习模型的灵活,高性能的服务系统,专为生产环境而设计。 使用TensorFlow Serving可以轻松部署新算法和实验,同时保持相同的服务器体系结构和API。 TensorFlow Serving提供与TensorFlow模型的现成集成,但可以轻松扩展以服务于其他类型的模型和数据。
提供有关TensorFlow Serving的详细开发人员文档:
架构概述
服务器API
REST客户端API
Click to read more ...
Installation
导语:
本文是 tensorflow 手册翻译系列的第三十七篇。
本文档介绍模型服务器的安装。
目录
安装模型服务器
使用 Docker 进行安装
使用 APT 进行安装
从源码进行构建
TensorFlow 服务 Python API PIP 包
正文
安装ModelServer
使用Docker安装
使用TensorFlow Serving的最简单,最直接的方法是使用Docker映像。除非您有在容器中运行无法满足的特定需求,否则我们强烈建议您使用此路线。
提示:这也是使TensorFlow Serving与GPU支持一起工作的最简单方法。
使用APT安...
Click to read more ...
ML Metadata
导语:
本文是 tensorflow 手册翻译系列的第三十六篇。
本文档介绍机器学习元数据。
目录
MLMD启用的功能
元数据后台存储和存储链接配置
元数据存储
概念
使用机器元数据跟踪机器学习流
使用远程 grpc 服务器
正文
ML元数据(MLMD)是一个用于记录和检索与ML开发人员和数据科学家工作流程相关联的元数据的库。 MLMD是TensorFlow Extended(TFX)不可或缺的一部分,但其设计使其可以独立使用。作为更广泛的TFX平台的一部分,大多数用户仅在检查管道组件的结果时才与MLMD交互,例如在笔...
Click to read more ...