公平指标TensorBoard插件
tensorboard-plugin-fairness-indicators的Python项目详细描述
用公平性指标仪表板评估模型[Beta]
TensorBoard的公平性指标使 常用的binary和多类分类器的公平性度量。 有了这个插件，你可以直观地看到你的运行的公平性评估 比较各组的绩效。在
特别是，TensorBoard的公平性指标允许您评估和 可视化模型性能，在定义的用户组中切片。感觉 通过置信区间和评估对您的结果充满信心 多个阈值。在
许多现有的评估公平问题的工具在很大程度上并不起作用 缩放数据集和模型。在谷歌，重要的是我们拥有 可以在十亿用户系统上工作。公平性指标将允许您评估 在TensorBoard环境或 Colab。在
要求
要安装TensorBoard的公平指示器，请运行：
python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators
夜间套餐
Tensorboard插件还托管夜间包 https://pypi-nightly.tensorflow.org在谷歌云上。安装最新的 夜间套餐，请使用以下命令：
^{pr2}$这将为TFDV的主要依赖项安装夜间包，例如 作为张量流模型分析（TFMA）。在
演示Colab
Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb 包含一个端到端的演示，用于培训和评估模型并可视化公平性评估 结果是张力板。在
使用
要将公平性指标用于您自己的数据和评估：
- 在
训练新模型并使用
在tensorflow_model_analysis.run_model_analysis或tensorflow_model_analysis.ExtractEvaluateAndWriteResult中的API model_eval_lib。 有关如何执行此操作的代码片段，请参阅公平性指标colab here。在 - 在
使用^{
} 编写一个摘要数据文件，该文件将被读取 通过TensorBoard呈现公平指标仪表板（请参见 TensorBoard tutorial 有关摘要数据文件的详细信息）。在要与
demo.py实用程序一起使用的标志：--logdir：TensorBoard编写摘要的目录--eval_result_output_dir：包含评估结果的目录 TFMA评估
python demo.py --logdir=<logdir> --eval_result_output_dir=<eval_result_dir>`也可以使用
tensorboard_plugin_fairness_indicators.summary_v2API来编写摘要文件。在
在writer = tf.summary.create_file_writer(<logdir>) with writer.as_default(): summary_v2.FairnessIndicators(<eval_result_dir>, step=1) writer.close() - 在
运行张力板
注意：这将启动一个本地实例。本地实例启动后，一个链接 将显示到终端。在浏览器中打开链接以查看 公平指标仪表盘。在
tensorboard --logdir=<logdir>- 使用左侧的下拉列表选择新的评估运行 可视化结果的仪表板。在
兼容版本
下表显示了 彼此兼容。这是由我们的测试框架决定的，但是 其他未经测试的组合也可以使用。在
| tensorboard-pluginn | tensorflow | tensorflow-model-analysis |
|---|---|---|
| GitHub master | nightly (2.x) | 0.25.0 |
| v0.25.0 | 2.3.0 | 0.25.0 |
| v0.24.0 | 2.3.0 | 0.24.0 |
| v0.23.0 | 2.3.0 | 0.23.0 |
- 项目
标签：
欢迎加入QQ群-->： 979659372
