PYTHON COM CIÊNCIA DE DADOS Por M. Meenachi Sundaram
Author: MEENACHISUNDARAM.M
Publisher: MEENACHI SUNDARAM
Published: 2024-09-05
Total Pages: 270
ISBN-13:
DOWNLOAD EBOOKPYTHON COM CIÊNCIA DE DADOS Por M. Meenachi Sundaram ÍNDICE PYTHON COM CIÊNCIA DE DADOS.. 13 CAPÍTULO 1: CONCEITOS DE ESTATÍSTICA.. 13 1. População e amostra. 13 2. Distribuição normal 14 3. Medidas de tendência central 16 4. Variância e desvio padrão. 16 5. Covariância e correlação. 17 6. Teorema do limite central 19 7. Valor P.. 20 8. Valor esperado de variáveis aleatórias. 22 9. Probabilidade condicional 25 10. Teorema de Bayes. 26 5 CONCEITOS ESTATÍSTICOS IMPORTANTES PARA TODO CIENTISTA DE DADOS 27 1. Estatística descritiva. 27 2. Distribuições de probabilidade. 29 3. Redução da dimensionalidade. 31 4. Subamostragem e superamostragem.. 33 5. Estatística bayesiana. 35 MÓDULO DE ESTATÍSTICAS PYTHON.. 36 Métodos estatísticos. 36 CAPÍTULO 2: PROBABILIDADE.. 37 Python, Números Aleatórios e Probabilidade. 37 Números aleatórios com Python. 38 Números aleatórios que satisfazem a condição de soma para um.. 42 Gerando strings aleatórias ou senhas com Python. 43 Números Inteiros Aleatórios. 44 Escolhas aleatórias com Python. 48 Amostras aleatórias com Python. 51 Números aleatórios verdadeiros. 53 Escolhas aleatórias ponderadas. 55 CAPÍTULO 3: DESVIO PADRÃO.. 62 Método Python statistics.stdev() 62 Definição e uso. 62 Sintaxe. 62 Valores de Parâmetros. 63 Parâmetro. 63 Descrição. 63 Dados. 63 Obrigatório. Os valores de dados a serem usados (podem ser qualquer sequência, lista ou iterador) 63 Barra X.. 63 Opcional. A média dos dados fornecidos. Se omitido (ou definido como Nenhum), a média é calculada automaticamente. 63 Detalhes técnicos. 63 Valor de retorno: 63 CAPÍTULO 4: VIÉS E VARIÂNCIA.. 64 O que são viés e variância?. 64 Viés e Variância usando Python. 64 CAPÍTULO 5: MÉTRICAS DE DISTÂNCIA.. 68 Compreendendo as métricas de distância usadas no aprendizado de máquina. 68 Estudaremos: 68 O que são métricas de distância?. 68 Tipos de métricas de distância em aprendizado de máquina. 69 Distância Euclidiana. 71 Fórmula para Distância Euclidiana. 72 Distância de Manhattan. 74 Fórmula para a distância de Manhattan. 74 Distância de Minkowski 76 Fórmula para a Distância de Minkowski 76 Distância de Hamming. 78 Conclusão. 80 Pontos. 80 CAPÍTULO 6: ANÁLISE DE OUTLIER.. 82 Detecção de outliers é o processo de identificar pontos de dados que têm valores extremos em comparação ao resto da distribuição. Aprenda três métodos de detecção de outliers em Python. 82 O que é detecção de outliers?. 82 Benefícios da detecção de outliers. 82 Métodos para detecção de outliers em Python. 83 Pré-requisito para detecção de outliers: leitura de dados. 83 Usando Box Plots para Detecção de Outliers. 84 Usando florestas de isolamento para detecção de outliers. 87 Usando OneClassSVM para detecção de outliers. 89 Dominando a detecção de outliers. 90 Atípico. 91 O que são valores atípicos?. 92 Quando os valores atípicos são perigosos?. 93 Quais estatísticas são afetadas pelos valores discrepantes?. 96 Quando descartar ou manter valores discrepantes?. 97 Índice. 99 Como tratar valores discrepantes?. 99 Aparar 99 Tampando. 99 Discretização. 101 Para distribuições normais. 101 Para distribuições distorcidas. 101 Para outras distribuições. 101 Como detectar e remover Outliners em Python. 102 Tratamento de pontuação Z.. 102 Filtragem baseada em IQR.. 105 Método do Percentil 108 Conclusão. 112 Perguntas frequentes. 113 CAPÍTULO 7: TRATAMENTOS DE VALOR PERDIDO.. 115 Como lidar com dados ausentes. 115 Por que preencher os dados ausentes?. 115 Como saber se os dados têm valores ausentes?. 117 Diferentes métodos para lidar com dados ausentes. 119 1. Excluindo a coluna com dados ausentes. 120 2. Excluindo a linha com dados ausentes. 121 3. Preenchendo os valores ausentes – Imputação. 123 4. Outros métodos de imputação. 126 5. Imputação com uma coluna adicional 127 6. Preenchimento com um modelo de regressão. 129 Conclusão. 132 Perguntas frequentes. 132 Pandas – Substituir valores NaN por zero em uma coluna. 133 1. Exemplo de substituição de NaN por zero. 133 2. Substitua os valores NaN por zero no DataFrame do pandas. 135 3. Substitua os valores NaN por zero em uma ou várias colunas. 135 4. Substitua os valores NaN por zeros usando replace() 136 5. Usando DataFrame.replace() em todas as colunas. 137 6. Exemplo completo para substituir valores NaN por zeros em uma coluna. 138 CAPÍTULO 8: CORRELAÇÃO.. 140 NumPy, SciPy e pandas: Correlação com Python. 140 Correlação. 140 Exemplo: Cálculo de correlação NumPy. 144 Exemplo: Cálculo de correlação SciPy. 146 Exemplo: Cálculo de correlação de pandas. 148 Esta página e a próxima página são apenas para referência. 150 Correlação Linear 150 Coeficiente de correlação de Pearson. 150 Regressão Linear: Implementação SciPy. 152 Correlação de Pearson: Implementação NumPy e SciPy. 155 Correlação de Pearson: Implementação de pandas. 158 Correlação de classificação. 163 Classificação: Implementação SciPy. 165 Correlação de classificação: implementação NumPy e SciPy. 166 Correlação de classificação: implementação de pandas. 169 Visualização da Correlação. 171 Gráficos XY com uma linha de regressão. 172 Mapas de calor de matrizes de correlação. 174 Conclusão. 176 CAPÍTULO 9: Métricas de erro (medidas de erro) 177 Erro Quadrático Médio. 177 Erro Absoluto Médio. 177 Erro percentual absoluto médio. 177 Medindo erros de regressão com Python. 178 Medindo Erros de Regressão. 178 Seis métricas de erro para medir erros de regressão. 179 Erro Absoluto Médio (MAE) 180 Erro percentual médio absoluto (MAPE) 181 Erro Quadrático Médio (MSE) 181 Erro Absoluto Mediano (MedAE) 182 Erro Quadrático Médio (RMSE) 183 Erro percentual absoluto mediano (MdAPE) 183 Implementando Métricas de Erro de Regressão em Python: Previsão de Séries Temporais 184 Etapa 1: Gerar dados de séries temporais sintéticas. 184 CAPÍTULO 10: REGRESSÃO.. 191 Regressão Linear 192 Regressão Logística. 192 Regressão Polinomial 193 Regressão de Ridge. 193 Regressão Lasso. 195 Aplicações de Regressão. 195 Diferença entre regressão e classificação em mineração de dados. 195 Regressão. 197 CAPÍTULO 11: APRENDIZAGEM DE MÁQUINA.. 198 Aprendizado de Máquina vs. Aprendizado Profundo vs. Redes Neurais. 198 Métodos de aprendizagem de máquina. 200 Aprendizado de máquina supervisionado. 201 Aprendizado de máquina não supervisionado. 201 Aprendizagem semi-supervisionada. 203 Algoritmos comuns de aprendizado de máquina. 203 Casos de uso de aprendizado de máquina no mundo real 204 Estrutura de dados para aprendizado de máquina. 205 O que é estrutura de dados?. 206 Tipos de Estrutura de Dados. 206 1. Estrutura de dados linear: 207 2. Estruturas de dados não lineares. 210 Estrutura de dados de matriz dinâmica: 213 Como a estrutura de dados é usada no aprendizado de máquina?. 213 Conclusão. 214 APRENDIZAGEM SUPERVISIONADA.. 215 Aprendizado de Máquina Supervisionado. 215 Como funciona o aprendizado supervisionado?. 215 Etapas envolvidas no aprendizado supervisionado: 217 Tipos de algoritmos de aprendizado de máquina supervisionados: 217 1. Regressão. 218 2. Classificação. 218 Vantagens do aprendizado supervisionado: 219 Desvantagens do aprendizado supervisionado: 219 Regressão Linear 219 Como funciona?. 220 R para Relacionamento. 229 Prever valores futuros. 230 Ajuste ruim?. 231 Regressão Logística. 235 Como funciona?. 236 Probabilidade. 238 Função explicada. 238 Resultados explicados. 241 Como salvar um modelo de aprendizado de máquina. 241 Duas maneiras de salvar um modelo do scikit-learn: 242 APRENDIZAGEM NÃO SUPERVISIONADA.. 249 Aprendizado de máquina não supervisionado. 249 Por que usar o aprendizado não supervisionado?. 250 Funcionamento da aprendizagem não supervisionada. 250 Tipos de algoritmo de aprendizagem não supervisionado: 251 Algoritmos de aprendizagem não supervisionada: 252 Vantagens da aprendizagem não supervisionada. 253 Desvantagens da aprendizagem não supervisionada. 253 Aprendizagem supervisionada vs. não supervisionada. 254 Preparando dados para aprendizagem não supervisionada. 255 Agrupamento. 257 Agrupamento hierárquico. 259 Diferença entre K-Means e agrupamento hierárquico. 263 Agrupamento t-SNE.. 263 Agrupamento DBSCAN.. 265 OUTROS ALGORITMOS DE APRENDIZAGEM DE MÁQUINA (ML) 268 SOBRE O AUTOR.. 269