Entenda o que é AUC e ROC nos modelos de Machine Learning

Entenda o que é AUC e ROC nos modelos de Machine LearningVinícius RodriguesBlockedUnblockFollowFollowingOct 26, 2018As curvas AUC e ROC estão entre as métricas mais utilizadas para a avaliação de um modelo de Machine Learning.

A curva AUC é derivada da curva ROC, então vamos inicialmente entender a curva ROC, que significa “Receiver Operating Characteristic”.

A ROC mostra o quão bom o modelo criado pode distinguir entre duas coisas (já que é utilizado para classificação).

Essas duas coisas pode ser 0 ou 1, ou positivo e negativo.

Os melhores modelos podem distinguir com precisão entre as duas coisas que está a avaliar.

O ROC possui dois parâmetros:Taxa de verdadeiro positivo (True Positive Rate), que é dado por true positives / (true positives + false negatives)Taxa de falso positivo (False Positive Rate), que é dado por false positives / (false positives + true negatives)Uma curva ROC traça “True Positive Rate vs.

False Positive Rate” em diferentes limiares de classificação (veja figura abaixo).

Assim, na tentativa de simplificar a análise da ROC, a AUC (“area under the ROC curve”) nada mais é que uma maneira de resumir a curva ROC num único valor, agregando todos os limiares da ROC, calculando a “área sob a curva”.

O valor do AUC varia de 0,0 até 1,0 e o limiar entre a classe é 0,5.

Ou seja, acima desse limite, o algoritmo classifica em uma classe e abaixo na outra classe.

Quanto maior o AUC, melhor.

Um exemplo da ROC/AUC.

Referência da imagem.

Um modelo cujas previsões estão 100% erradas tem uma AUC de 0, enquanto um modelo cujas previsões são 100% corretas tem uma AUC de 1.

Cada modelo apresentará um valor de AUC, o que irá te auxiliar na escolha do melhor, como na figura abaixo:Referência da figura.

O interessante do AUC é que a métrica invariante em escala, uma vez que trabalha com precisão das classificações, em vez de seus valores absolutos.

Além disso, também mede a qualidade das previsões do modelo, independentemente do limiar de classificação.

Visite nosso site ou mande um e-mail para viniciusbrbio@gmail.

com.

Você também pode me encontrar no Twitter.

Se preferir, poderá adicionar o feed do blog.

.. More details

Leave a Reply