测试机器学习模型不用写代码!谷歌(Google)“what-if”工具轻松化解

What-If Tool紧要有七大成效,不知情有没有您供给的那一款:

只需一键,自动比较数据点与模型预测最相似点

示例

此处引用上海农业高校张伟楠先生机器学习课件中的例子来证实:

新京葡娱乐场388官网 1

AUC总结示例

如上图所示,大家有七个测试样本,模型的预测值(按大小排序)和范本的真实性标签如右表所示,绘制ROC曲线的凡事进度如下所示:

  1. 令阈值等于第三个预测值0.91,全数大于等于0.91的预测值都被判定为阳性,此时TP大切诺基=四分一,FP奥迪Q3=0/4,全部大家有了第三个点(0.0,0.25)
  2. 令阈值等于首个预测值0.85,全数大于等于0.85的预测值都被判定为阴性,这种景观下第③个样本属于被错误预测为中性(neuter gender)的中性(neuter gender)样本,也正是FP,所以TPTucson=1/4,FP帕杰罗=25%,所以我们有了第2个点(0.25,0.25)
  3. 遵从那种艺术依次取第叁 、四…个预测值作为阈值,就能挨个获得ROC曲线上的坐标点(0.5,0.25)、(0.75,0.25)…(1.0,1.0)
  4. 将逐条点依次连接起来,就取得了如图所示的ROC曲线
  5. 计算ROC曲线下方的面积为0.75,即AUC=0.75

新京葡娱乐场388官网 2

What-If工具的耳闻目睹应用

定义

AUC的完备是Area under the Curve of
ROC
,也就是ROC曲线下方的面积。这里出现了另七个概念,正是ROC曲线。那么ROC曲线是个如何事物呢?大家参看下维基百科上的概念:在信号检查和测试理论中,接收者操作特征曲线(receiver
operating characteristic
curve
,或者叫ROC曲线)是一种坐标图式的辨析工具,用于 (1)
选用最棒的信号侦测模型、遗弃次佳的模型。 (2)
在同等模型中设定最好阈值。这么些定义最早是由世界第二次大战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具。回顾来说,能够把ROC曲线明白为一种用于总括分析的图样工具。

那就是说具体到机械学习的论战中,ROC曲线该怎么领悟呢?首先,须求提议的是,ROC分析的是二元分类模型,也正是出口结果唯有二种档次的模子,比如:(阴性/中性(neuter gender))(有病/没病)(垃圾邮件/非垃圾邮件)。在二分类难题中,数据的竹签平日用(0/1)来表示,在模型磨炼成功后开始展览测试时,会对测试集的每一种样本计算二个介于0~1之间的票房价值,表征模型认为该样本为中性(neuter gender)的可能率,大家能够选定贰个阈值,将模型测算出的可能率进行二值化,比如选定阈值=0.5,那么当模型输出的值大于等于0.5时,我们就觉着模型将该样本预测为阴性,相当于标签为1,反之亦然。选定的阈值区别,模型预测的结果也会相应地改变。二元分类模型的单个样本预测有八种结果:

  1. 真阴性(TP):判断为中性(neuter gender),实际也是中性(neuter gender)。
  2. 伪中性(neuter gender)(FP):判断为中性(neuter gender),实际却是中性(neuter gender)。
  3. 真中性(neuter gender)(TN):判断为中性(neuter gender),实际也是中性(neuter gender)。
  4. 伪阴性(FN):判断为阴性,实际却是阳性。

那多种结果能够画成2 × 2的混淆矩阵:

新京葡娱乐场388官网 3

二阶混淆矩阵

有了混淆矩阵,就可以定义ROC曲线了。ROC曲线将假阴性率(FPKoleos)定义为
X 轴,真中性(neuter gender)率(TP奥迪Q5)定义为 Y 轴。在那之中:

  • TP宝马X3:在装有实际为阴性的范本中,被正确地判断为中性(neuter gender)的样本比率。
  • FP福特Explorer:在具有实际为阴性的样书中,被错误地判断为阴性的样本比率。
  • TPR = TP / (TP + FN)
  • FPR = FP / (FP + TN)

给定三个二分类模型和它的阈值,就足以根据全数测试集样本点的真实值和预测值总括出三个(X=FPR, Y=TPGL450)
坐标点,那也正是绘制单个点的章程。那整条ROC曲线又该怎么画吗?具体方法如下:

在我们陶冶完贰个二分类模型后,能够动用该模型对测试集中的成套样本点计算多少个一见依然的可能率值,各类值都介于0~1之间。若是测试集有九十八个样本点,咱们能够对那九二十个样本的预测值从高到低排序,然后依次取每一个值作为阈值,一旦阈值明确大家就能够绘制ROC曲线上的1个点,依照这种方法依次将玖21个点绘制出来,再将次第点依次连接起来,就获得了作者们想要的ROC曲线!

接下来再再次来到最初的难点,AUC值其实就是ROC曲线下方所覆盖的面积,当大家绘制出ROC曲线之后,AUC的值自然也就计算好啊。

成效五:按相似度排列示例

责编:

参考

ROC曲线维基百科
张伟楠先生课件
机器学习和总结里面包车型地铁auc怎么通晓? –
博客园

新京葡娱乐场388官网 4

要应对这个难点并不便于。要回应这几个“假使”难点,常常要编写自定义的一遍性代码来分析特定模型。那个进度不仅作用低下,同时除了程序员,其余人很难参加立异机器学习模型的经过。

代码

在知情了AUC值的盘算原理后,大家再来看看哪些在代码中落实它。平日很多的机器学习工具都打包了模型指标的乘除,当然也席卷AUC值。那里大家来一起看下scikit-learnAUC的盘算方法,如下所示:

>>> import numpy as np
>>> from sklearn.metrics import roc_auc_score
>>> y_true = np.array([0, 0, 1, 1])
>>> y_scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> roc_auc_score(y_true, y_scores)
0.75

能够看到,使用scikit-learn工具提供的roc_auc_score函数总括AUC值相当简单,只必要提供样本的实际标签和预测值那五个变量即可,大大便利了大家的应用,真心谢谢这几个开源软件的我们!

新京葡娱乐场388官网 5

总结

看到此间的伙伴们是否对AUC值的概念有了更好的理解吧。总的来说,AUC值正是二个用来评论二分拣模型优劣的常用目标,AUC值越德州仪器常表明模型的机能越好,在其实使用中我们能够重视软件包的相应函数进行高效总结。假如各位还有部分难题要么是对小说中的某个部分有问号,欢迎在评论区斟酌。

250张人脸和在模型中检查和测试微笑后的结果

新京葡娱乐场388官网 6

引言

在机械学习世界,AUC值日常用来评论1个二分类模型的磨炼作用,对于广大机械学习只怕数额挖掘的从业者或在校学员来说,AUC值的定义也每每被提起,但出于多数时候我们皆以重视一些软件包来操练机器学习模型,模型评价目的的测算往往被软件包所封装,由此我们平日会忽视了它们的现实性意思,那在稍微时候会让我们对此手头正在展开的天职感到纳闷。作者也曾碰到类似的题材,因而希望借由正文来梳理下AUC值的意思与计量办法,通超过实际际的例证帮衬读者加深掌握,同时提交了采取scikit-learn工具库总结AUC值的格局,供各位参考。

效果六:查看混淆矩阵和ROC曲线

新京葡娱乐场388官网 ,对Counterfactuals的可比。4位只有在年龄和事情上存在微小的差别,但模型的前瞻结果早就完全相反

What-If
Tool里功效很多,包涵自动用Facets将数据集可视化,也有从数额汇总手动编辑示例并查看更改效果的成效,仍是能够自动生成都部队分关系图,展现模型预测随着单个特征的变动而改变的主旋律。

探讨数据点上的What-if情景

原题目:无需写代码!谷歌(Google)推出机器学习模型分析神器,代号What-If

在下边包车型地铁截图中,该工具用于二进制分类模型,该模型依照意大利人口普遍检查数据集的国有人口普遍检查数据,预测一人的年收入是不是超越5万欧元。那是机械学习钻探人士使用的原则预测职分,特别是在条分缕析算法的公平性时。

效益七:测试算法公平性限制

来源:Google AI

对此富含描述真实标签天性的二分类模型和示范,使用阈值、ROC曲线、数值混淆矩阵和财力比交互式地探讨模型质量。

检测错误分类、评估模型公平性、调查模型分化数据集

用L1或L2距离从选定的数据点创建距离个性,并将其可视化实行进一步分析。

上边详细介绍What-If工具的五个职能。

What-If Tool介绍主页:

在谷歌(谷歌(Google))官方博客上,探究人士还颁发了用预演习模型进行的一组演示,比如检查和测试错误分类的原由,评估二元分类模型的公平性和调查分歧子数据汇总模型的表现等。能够活动官方博客查看越多,博客地址:

回去和讯,查看更加多

—归来天涯论坛,查看更多

模型品质和算法公平性分析

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website