SignatureDefs in SavedModel for TensorFlow Serving

导语：
    本文是 tensorflow 手册翻译系列的第十篇。
    本文档提供了 SavedModel 中 SignatureDef 的预期用法示例，这些示例映射到 TensorFlow Serving 的 API 。

目的本文档提供了SavedModel中SignatureDef的预期用法示例，这些示例映射到TensorFlow Serving的API。

总览 SignatureDef定义TensorFlow图中支持的计算的签名。 SignatureDefs旨在提供通用支持以标识函数的输入和输出，并且可以在构建SavedModel时指定。

背景 TF-Exporter和SessionBundle使用的签名在概念上相似，但是要求用户区分命名签名和默认签名，以便在加载时正确检索它们。对于以前使用TF-Exporter / SessionBundle的用户，TF-Exporter中的签名将由SavedModel中的SignatureDefs替换。

SignatureDef结构 SignatureDef要求指定以下内容：

输入为到TensorInfo的字符串映射。输出为TensorInfo的字符串映射。 method_name（与加载工具/系统中支持的方法名称相对应）。注意TensorInfo本身需要名称，dtype和张量形状的规范。虽然图中已经存在张量信息，但是明确定义TensorInfo作为SignatureDef的一部分很有用，因为工具随后可以执行签名验证等，而不必读取图形定义。

相关常量和实用程序为了方便在工具和系统之间重用和共享，将在TensorFlow Serving中支持的与SignatureDef相关的常用常量定义为常量。特别：

Python中的签名常量。 C ++中的签名常量。此外，SavedModel提供了一个实用程序来帮助构建签名定义。

样本结构 TensorFlow Serving提供用于执行推理的高级API。要启用这些API，模型必须包含一个或多个SignatureDef，它们定义要用于输入和输出的确切TensorFlow节点。 TensorFlow Serving支持每个API的特定SignatureDef的示例，请参见下文。

请注意，TensorFlow Serving取决于每个TensorInfo的键（在SignatureDef的输入和输出中）以及SignatureDef的method_name。 TensorInfo的实际内容特定于您的图形。

分类SignatureDef 分类SignatureDefs支持对TensorFlow Serving的分类API的结构化调用。这些规定必须有一个输入张量，并且有两个可选的输出张量：类和分数，其中至少必须存在一个。

signature_def: {
  key  : "my_classification_signature"
  value: {
    inputs: {
      key  : "inputs"
      value: {
        name: "tf_example:0"
        dtype: DT_STRING
        tensor_shape: ...
      }
    }
    outputs: {
      key  : "classes"
      value: {
        name: "index_to_string:0"
        dtype: DT_STRING
        tensor_shape: ...
      }
    }
    outputs: {
      key  : "scores"
      value: {
        name: "TopKV2:0"
        dtype: DT_FLOAT
        tensor_shape: ...
      }
    }
    method_name: "tensorflow/serving/classify"
  }
}

预测SignatureDef Predict SignatureDefs支持对TensorFlow Serving的Predict API的调用。这些签名使您可以灵活地支持任意多个输入和输出张量。对于以下示例，签名my_prediction_signature具有单个逻辑输入Tensor图像，这些图像映射到图形x：0中的实际Tensor。

Predict SignatureDefs支持跨模型的可移植性。这意味着您可以交换不同的SavedModels，可能使用不同的基础Tensor名称（例如，代替x：0也许您有一个带有Tensor z：0的新替代模型），而您的客户可以保持在线状态，持续查询旧的和新的此模型的版本没有客户端更改。

Predict SignatureDefs还允许您向输出中添加可选的其他张量，您可以显式查询。假设除了分数的下面的输出键外，您还希望获取池层用于调试或其他目的。在这种情况下，您只需添加一个额外的Tensor，并使用键（例如pool和适当的值）。

signature_def: {
  key  : "my_prediction_signature"
  value: {
    inputs: {
      key  : "images"
      value: {
        name: "x:0"
        dtype: ...
        tensor_shape: ...
      }
    }
    outputs: {
      key  : "scores"
      value: {
        name: "y:0"
        dtype: ...
        tensor_shape: ...
      }
    }
    method_name: "tensorflow/serving/predict"
  }
}

回归签名Def 回归SignatureDefs支持对TensorFlow Serving的回归API的结构化调用。这些规定必须完全有一个输入张量，一个输出张量。

signature_def: {
  key  : "my_regression_signature"
  value: {
    inputs: {
      key  : "inputs"
      value: {
        name: "x_input_examples_tensor_0"
        dtype: ...
        tensor_shape: ...
      }
    }
    outputs: {
      key  : "outputs"
      value: {
        name: "y_outputs_0"
        dtype: DT_FLOAT
        tensor_shape: ...
      }
    }
    method_name: "tensorflow/serving/regress"
  }
}