Marcus Sampaio DSC/UFCG. Marcus Sampaio DSC/UFCG CEAPE-PB Centro de Apoio aos Pequenos EMPREENDIMENTOS – CEAPE-PB, com sede na Cidade de Campina Grande.

Apresentação em tema: "Marcus Sampaio DSC/UFCG. Marcus Sampaio DSC/UFCG CEAPE-PB Centro de Apoio aos Pequenos EMPREENDIMENTOS – CEAPE-PB, com sede na Cidade de Campina Grande."— Transcrição da apresentação:

1 Marcus Sampaio DSC/UFCG

2 Marcus Sampaio DSC/UFCG CEAPE-PB Centro de Apoio aos Pequenos EMPREENDIMENTOS – CEAPE-PB, com sede na Cidade de Campina Grande Desenvolvimento e implantação do "Sistema de Apoio a Análise de Risco de Crédito “ N ú mero de clientes ainda abaixo do desej á vel Taxa de inadimplência acima dos n í veis desej á veis Procedimentos de an á lise de crédito ineficientes Carteira de produtos limitada Funcion á rios pouco motivados

3 Marcus Sampaio DSC/UFCG Objetivos Expansão segura da carteira de clientes da Empresa –Base de clientes significativa –Taxa de inadimplência reduzida Ampliação da sua carteira de produtos –Perfil da clientela conhecido –Análise sistemática da inadimplência Aumento da motivação de seus funcionários –Procedimentos operacionais racionalizados –Custos operacionais reduzidos vs. Aumento da receita líquida

4 Marcus Sampaio DSC/UFCG Diagnóstico do INFOCRED Preparação da base INFOCRED para mineração Seleção de atributos (dados brutos) Eliminação de ruídos (campos incompletos, não informados, etc) Geração de um arquivo no formato do algoritmo de perfilamento. Classificação manual da base INFOCRED Classificação caso-a-caso de perfis (grande, médio, baixo ou não inadimplente) Atualização da base INFOCRED Emissão de relatórios para fins de conferência Validação de perfis Regras gerais de classificação (perfilamento do grande, médio, baixo ou não inadimplente) Resultado Parcial 1: Perfis generalizados e validados Plano de Trabalho

5 Marcus Sampaio DSC/UFCG Definição/Refinamento do Modelo-CEAPE de análise de risco de crédito Seleção de atributos críticos Atribuição de pesos Eleição de alternativas de crédito Resultado Parcial 2: Modelo pronto para uso inicial Plano de Trabalho (2)

6 Marcus Sampaio DSC/UFCG Desenvolvimento/Implantação do Sistema Desenvolvimento e teste Implantação Treinamento. Resultado Final: Modelo automatizado / Ferramenta completa Plano de Trabalho (3)

7 Marcus Sampaio DSC/UFCG Arquitetura do Sistema Modelo-CEAPE Análise Risco CARGA FEEDBACK INFOCRED

8 Marcus Sampaio DSC/UFCG Id3 ---- === Error on training data === Correctly Classified Instances 2197 100% Incorrectly Classified Instances 0 0% Total Number of Instances 2197 Análise dos Dados com ID3 Note que o modelo gerado pelo ID3 é espelho do BD INFOCRED

9 Marcus Sampaio DSC/UFCG === Confusion Matrix === a b c d e f g <-- classified as 29 0 0 0 0 0 0 | a = inadimplente 010 0 7 0 0 0 0 0 | b = inadimplente 090 0 0 11 0 0 0 0 | c = inadimplente 060 0 0 0 32 0 0 0 | d = inadimplente 030 0 0 0 0 2 0 0 | e = inadimplente 120 0 0 0 0 0 2115 0 | f = Adimplente 0 0 0 0 0 0 1 | g = Cart. Castigada Análise... (2)

10 Marcus Sampaio DSC/UFCG === Error on test data === Correctly Classified Instances 1006 91.6211 % Incorrectly Classified Instances 62 5.6466 % Total Number of Instances 1098 Análise... (3)

11 Marcus Sampaio DSC/UFCG === Confusion Matrix === a b c d e f g <-- classified as 3 0 0 1 0 17 0 | a = inadimplente 010 0 0 0 1 0 2 0 | b = inadimplente 090 1 0 0 0 0 6 0 | c = inadimplente 060 1 0 0 3 0 14 0 | d = inadimplente 030 0 0 0 0 0 1 0 | e = inadimplente 120 5 2 4 6 0 1000 0 | f = Adimplente 1 0 0 0 0 0 0 | g = Cart. Castigada Análise... (4)

12 Marcus Sampaio DSC/UFCG Análise... (5) @attribute ativo_fixo {'maior12000', '0a5000', '5001a8000', '8001a12000'} @attribute fone_fixo {'N', 'S'} @attribute grupo {'3', '2', '1', '5', '4'} @attribute lucro_liquido {'Prejuízo', '501a1000', 'acima 1000', '251a500', '0a250'} @attribute vendas_vista {'501a1000', '2001a4000', '6001a10000', '0a500', '4001a6000', 'maior10000', '1001a2000'} Atributos demográficos Formato ARFF (WEKA) @attribute vendas_prazo {'501a1000', '2001a4000', '6001a10000', '0a500', '4001a6000', 'maior10000', '1001a2000'} @attribute vl_autorizado {'acima 1000', '0 a 500', '501 a 1000'} @attribute inadimplencia {'inadimplente 010', 'inadimplente 090', 'inadimplente 060', 'inadimplente 150', 'inadimplente 030', 'inadimplente 120', 'Adimplente', 'Cart. Castigada', 'inadimplente 180'}

13 Marcus Sampaio DSC/UFCG J48 ------- === Error on training data === Correctly Classified Instances 2116 96.3132 % Incorrectly Classified Instances 81 3.6868 % Total Number of Instances 2197 Note que o modelo inferido pelo J48 não espelha BD INFOCRED; em compensação, poderá ser mais confiável que o do ID3, nos testes Mineração com J48

14 Marcus Sampaio DSC/UFCG === Confusion Matrix === a b c d e f g <-- classified as 0 0 0 0 0 29 0 | a = inadimplente 010 0 0 0 0 0 7 0 | b = inadimplente 090 0 0 0 0 0 11 0 | c = inadimplente 060 0 0 0 1 0 31 0 | d = inadimplente 030 0 0 0 0 0 2 0 | e = inadimplente 120 0 0 0 0 0 2115 0 | f = Adimplente 0 0 0 0 0 1 0 | g = Cart. Castigada Mineração com J48 (2)

15 Marcus Sampaio DSC/UFCG Mineração com J48 (3) === Error on test data === Correctly Classified Instances 1038 94.5355 % Incorrectly Classified Instances 60 5.4645 % Total Number of Instances 1098 Confirmado: o modelo do J48 é mais confiável Que o do ID3

16 Marcus Sampaio DSC/UFCG === Confusion Matrix === a b c d e f g <-- classified as 0 0 0 1 0 21 0 | a = inadimplente 010 0 0 0 0 0 4 0 | b = inadimplente 090 0 0 0 0 0 10 0 | c = inadimplente 060 0 0 0 0 0 22 0 | d = inadimplente 030 0 0 0 0 0 1 0 | e = inadimplente 120 0 0 0 0 0 1038 0 | f = Adimplente 0 0 0 0 0 1 0 | g = Cart. Castigada Mineração com J48 (4)

17 Marcus Sampaio DSC/UFCG Prism -------- === Error on training data === Correctly Classified Instances 2197 100 % Incorrectly Classified Instances 0 0 % Total Number of Instances 2197 Mineração com Prism

18 Marcus Sampaio DSC/UFCG Mineração com Prism (2) === Confusion Matrix === a b c d e f g <-- classified as 29 0 0 0 0 0 0 | a = inadimplente 010 0 7 0 0 0 0 0 | b = inadimplente 090 0 0 11 0 0 0 0 | c = inadimplente 060 0 0 0 32 0 0 0 | d = inadimplente 030 0 0 0 0 2 0 0 | e = inadimplente 120 0 0 0 0 0 2115 0 | f = Adimplente 0 0 0 0 0 0 1 | g = Cart. Castigada

19 Marcus Sampaio DSC/UFCG Mineração com Prism (3) === Error on test data === Correctly Classified Instances 1011 92.0765 % Incorrectly Classified Instances 71 6.4663 % Total Number of Instances 1098

20 Marcus Sampaio DSC/UFCG Mineração com Prism (4) === Confusion Matrix === a b c d e f g <-- classified as 3 0 0 1 0 17 0 | a = inadimplente 010 0 0 0 0 0 4 0 | b = inadimplente 090 1 0 0 0 0 9 0 | c = inadimplente 060 1 0 0 5 0 14 0 | d = inadimplente 030 0 0 0 0 0 1 0 | e = inadimplente 120 8 3 3 8 0 1003 0 | f = Adimplente 1 0 0 0 0 0 0 | g = Cart. Castigada

21 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes Naive Bayes Classifier -------------------------------- Class inadimplente 010: Prior probability = 0.01 ativo_fixo: Discrete Estimator. Counts = 9 9 7 8 (Total = 33) fone_fixo: Discrete Estimator. Counts = 11 20 (Total = 31) grupo: Discrete Estimator. Counts = 8 9 10 2 5 (Total = 34) lucro_liquido: Discrete Estimator. Counts = 2 8 11 8 5 (Total = 34) vendas_vista: Discrete Estimator. Counts = 3 7 4 12 3 2 5 (Total = 36) vendas_prazo: Discrete Estimator. Counts = 5 5 1 9 3 2 11 (Total = 36) vl_autorizado: Discrete Estimator. Counts = 5 10 17 (Total = 32)

22 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (2) Class inadimplente 060: Prior probability = 0.01 ativo_fixo: Discrete Estimator. Counts = 4 5 2 4 (Total = 15) fone_fixo: Discrete Estimator. Counts = 5 8 (Total = 13) grupo: Discrete Estimator. Counts = 4 3 6 2 1 (Total = 16) lucro_liquido: Discrete Estimator. Counts = 2 3 3 4 4 (Total = 16) vendas_vista: Discrete Estimator. Counts = 5 1 2 3 5 1 1 (Total = 18) vendas_prazo: Discrete Estimator. Counts = 3 3 2 5 1 1 3 (Total = 18) vl_autorizado: Discrete Estimator. Counts = 3 5 6 (Total = 14)

23 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (3) Class inadimplente 030: Prior probability = 0.01 ativo_fixo: Discrete Estimator. Counts = 14 10 4 8 (Total = 36) fone_fixo: Discrete Estimator. Counts = 12 22 (Total = 34) grupo: Discrete Estimator. Counts = 10 6 13 1 7 (Total = 37) lucro_liquido: Discrete Estimator. Counts = 2 12 8 6 9 (Total = 37) vendas_vista: Discrete Estimator. Counts = 18 3 2 5 2 1 8 (Total = 39) vendas_prazo: Discrete Estimator. Counts = 8 3 2 15 3 1 7 (Total = 39) vl_autorizado: Discrete Estimator. Counts = 4 20 11 (Total = 35)

24 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (4) Class Adimplente: Prior probability = 0.96 ativo_fixo: Discrete Estimator. Counts = 741 733 318 327 (Total = 2119) fone_fixo: Discrete Estimator. Counts = 552 1565 (Total = 2117) grupo: Discrete Estimator. Counts = 615 467 585 239 214 (Total = 2120) lucro_liquido: Discrete Estimator. Counts = 55 663 489 568 345 (Total = 2120) vendas_vista: Discrete Estimator. Counts = 441 417 53 579 97 18 517 (Total = 2122) vendas_prazo: Discrete Estimator. Counts = 459 227 25 994 40 10 367 (Total = 2122) vl_autorizado: Discrete Estimator. Counts = 607 455 1056 (Total = 2118)

25 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (5) Time taken to build model: 0.01 seconds Time taken to test model on training data: 0.05 seconds === Error on training data === Correctly Classified Instances 2115 96.2676 % Incorrectly Classified Instances 82 3.7324 % Total Number of Instances 2197

26 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (6) === Confusion Matrix === a b c d e f g <-- classified as 0 0 0 0 0 29 0 | a = inadimplente 010 0 0 0 0 0 7 0 | b = inadimplente 090 0 0 0 0 0 11 0 | c = inadimplente 060 0 0 0 0 0 32 0 | d = inadimplente 030 0 0 0 0 0 2 0 | e = inadimplente 120 0 0 0 0 0 2115 0 | f = Adimplente 0 0 0 0 0 1 0 | g = Cart. Castigada

27 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (7) === Error on test data === Correctly Classified Instances 1039 94.6266 % Incorrectly Classified Instances 59 5.3734 % Total Number of Instances 1098

28 Marcus Sampaio DSC/UFCG Mineração com NaïveBayes (8) === Confusion Matrix === a b c d e f g <-- classified as 1 0 0 0 0 21 0 | a = inadimplente 010 0 0 0 0 0 4 0 | b = inadimplente 090 0 0 0 0 0 10 0 | c = inadimplente 060 0 0 0 0 0 22 0 | d = inadimplente 030 0 0 0 0 0 1 0 | e = inadimplente 120 0 0 0 0 0 1038 0 | f = Adimplente 0 0 0 0 0 1 0 | g = Cart. Castigada

29 Marcus Sampaio DSC/UFCG Síntese da Mineração AlgoritmoAcurácia de TreinamentoAcurácia de Teste ID3100%91,62% See596,31%94,54% Naïve Bayes96,27%94,62% Prism100%92,07%

30 Marcus Sampaio DSC/UFCG Conjunto-Treinamento

31 Marcus Sampaio DSC/UFCG Conjunto-Teste