注释者协议的可视化和统计评估
disagree的Python项目详细描述
**目前包括与matplotlib相关的错误，我正在尝试修复这些错误。**
r/>
`$python3-m pip install--索引url https://pypi.org/project/disagree`
`$pip3 install disagree`
>要更新到最新版本，请执行以下操作：
`$pip3 install--upgrade disagree`
使用手动标记的数据集，因此必须评估注释器之间协议的质量。在我（有限的）这样做的经验中，我遇到了很多有用的方法。在这个库中，我的目标是将所有这些东西组合在一起供人们使用。
如果您有任何附加功能，请提出建议。
tistics
*检索分歧数量及其范围的摘要
*注释统计：
*联合概率
*cohens-kappa
*fleiss-kappa
*pearson，spearman，kendall相关
*krippendorff's alpha
python示例
partial示例可以在源代码的顶部找到。jupyter笔记本中也提供了一些有用的例子。
\Nalities.
这里对参数有一些非常严格的要求。（请参阅笔记本或源代码顶部的用法示例。）
*`df`:pandas数据框，其中包含注释器标签
**rows**：标记为
**columns**：注释器
*element[i，j]是数据实例i的注释器j的标签。
*条目必须为整数、浮点数或熊猫NaN值
*最低标签必须为0。例如，如果您的标签是1-5，则将其转换为0-4。
*`labels`：包含可能的标签的列表必须从0到最大标签。如果您的标签是单词，请将其转换为相应的整数。
*示例：如果标签是[男、女、反]，则必须转换为[0、1、2]
**attributes**：
**`agreements_summary（）`**
*这将打印有关没有分歧，投标协议的数量，三方分歧的数量，以及情况更糟的实例的数量（即3+分歧）。
**`协议矩阵（）`**
*这将返回一个投标协议矩阵。随你怎么办！
*element[i，j]是涉及标签i和标签j的投标协议的次数。
**`可视化（cmap="reds"，normalise=true，title="bidisagreements"）`**
*用于可视化上述协议矩阵。
*参数：cmap，string，optional--t您希望在矩阵可视化中使用的CMAP颜色（有关可能的值，请参见matplotlib）
*参数：normalise、boolean、optional——如果为true，则将不一致计数标准化。如果为False，则表示绝对不一致计数
*参数：title，string，optional--不一致矩阵的标题
**不一致。metrics.metrics（df，labels）**
此模块允许您访问通常用于注释不一致统计的许多度量。
df和labels args见上文。
**attributes**：
**`联合概率（ann1，ann2）`**
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，dataframe列中一个注释器的名称
*这给出了ann1和ann2之间一致的连接概率。您可能不应将此度量用于学术目的，而应在此处完成。
**`cohens_kappa（ann1，ann2）`**：
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，其中一个注释器的名称dataframe列
**`fliess_kappa（）`**
*没有参数
**`correlation（ann1，ann2，measure="pearson"）`**
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，t中一个注释器的名称数据帧列
*参数：measure，string，可选
*选项：（pearson（默认）、kendall、spearman）
*这将为您提供两个注释器之间的pearson、kendall或spearman相关统计信息
**visualise度量（func，cmap="blues"，title="）**
*返回一个大小矩阵（num_annotators x num_annotators）。元素[i，j]是注释器i和注释器j之间协议的统计值。
*参数：func，要可视化的度量的函数名。
*选项：（metrics.metrics.cohens_kappa，metrics.metrics.joint_probability）
*参数：cmap，string，optional—您希望在矩阵可视化中使用的CMAP颜色（有关可能的值，请参见matplotlib）
*参数：title，string，optional—不一致矩阵的标题
\disagree.metrics.krippendorff（df，labels）**
***属性**
**`alpha（data_type="nominal"）`**
*在此库中，krippendorf的alpha可以处理四种数据类型，必须指定其中一种：
*nominal（默认值）
*ordinal
*interval
*ratio
r/>
`$python3-m pip install--索引url https://pypi.org/project/disagree`
`$pip3 install disagree`
>要更新到最新版本，请执行以下操作：
`$pip3 install--upgrade disagree`
使用手动标记的数据集，因此必须评估注释器之间协议的质量。在我（有限的）这样做的经验中，我遇到了很多有用的方法。在这个库中，我的目标是将所有这些东西组合在一起供人们使用。
如果您有任何附加功能，请提出建议。
tistics
*检索分歧数量及其范围的摘要
*注释统计：
*联合概率
*cohens-kappa
*fleiss-kappa
*pearson，spearman，kendall相关
*krippendorff's alpha
python示例
partial示例可以在源代码的顶部找到。jupyter笔记本中也提供了一些有用的例子。
\Nalities.
这里对参数有一些非常严格的要求。（请参阅笔记本或源代码顶部的用法示例。）
*`df`:pandas数据框，其中包含注释器标签
**rows**：标记为
**columns**：注释器
*element[i，j]是数据实例i的注释器j的标签。
*条目必须为整数、浮点数或熊猫NaN值
*最低标签必须为0。例如，如果您的标签是1-5，则将其转换为0-4。
*`labels`：包含可能的标签的列表必须从0到最大标签。如果您的标签是单词，请将其转换为相应的整数。
*示例：如果标签是[男、女、反]，则必须转换为[0、1、2]
**attributes**：
**`agreements_summary（）`**
*这将打印有关没有分歧，投标协议的数量，三方分歧的数量，以及情况更糟的实例的数量（即3+分歧）。
**`协议矩阵（）`**
*这将返回一个投标协议矩阵。随你怎么办！
*element[i，j]是涉及标签i和标签j的投标协议的次数。
**`可视化（cmap="reds"，normalise=true，title="bidisagreements"）`**
*用于可视化上述协议矩阵。
*参数：cmap，string，optional--t您希望在矩阵可视化中使用的CMAP颜色（有关可能的值，请参见matplotlib）
*参数：normalise、boolean、optional——如果为true，则将不一致计数标准化。如果为False，则表示绝对不一致计数
*参数：title，string，optional--不一致矩阵的标题
**不一致。metrics.metrics（df，labels）**
此模块允许您访问通常用于注释不一致统计的许多度量。
df和labels args见上文。
**attributes**：
**`联合概率（ann1，ann2）`**
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，dataframe列中一个注释器的名称
*这给出了ann1和ann2之间一致的连接概率。您可能不应将此度量用于学术目的，而应在此处完成。
**`cohens_kappa（ann1，ann2）`**：
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，其中一个注释器的名称dataframe列
**`fliess_kappa（）`**
*没有参数
**`correlation（ann1，ann2，measure="pearson"）`**
*参数：ann1，string，dataframe列中一个注释器的名称
*参数：ann2，string，t中一个注释器的名称数据帧列
*参数：measure，string，可选
*选项：（pearson（默认）、kendall、spearman）
*这将为您提供两个注释器之间的pearson、kendall或spearman相关统计信息
**visualise度量（func，cmap="blues"，title="）**
*返回一个大小矩阵（num_annotators x num_annotators）。元素[i，j]是注释器i和注释器j之间协议的统计值。
*参数：func，要可视化的度量的函数名。
*选项：（metrics.metrics.cohens_kappa，metrics.metrics.joint_probability）
*参数：cmap，string，optional—您希望在矩阵可视化中使用的CMAP颜色（有关可能的值，请参见matplotlib）
*参数：title，string，optional—不一致矩阵的标题
\disagree.metrics.krippendorff（df，labels）**
***属性**
**`alpha（data_type="nominal"）`**
*在此库中，krippendorf的alpha可以处理四种数据类型，必须指定其中一种：
*nominal（默认值）
*ordinal
*interval
*ratio
欢迎加入QQ群-->： 979659372
