Primeiros passos machine learning PostgreSQL
2 gostaram755 visualizações
Este documento apresenta uma introdução ao Machine Learning utilizando o banco de dados PostgreSQL e a biblioteca MADlib. O palestrante explica conceitos básicos de ML, como regressão, classificação e clusterização. Ele também demonstra como construir modelos de ML no PostgreSQL usando Python através de notebooks Jupyter e código exemplo disponível online.
1 de 17
Baixar para ler offline
Anúncio
Recomendados
Desenvolvendo web crawler/scraper com Python
Desenvolvendo web crawler/scraper com PythonRoselma Mendes O documento discute o desenvolvimento de web crawlers e scrapers em Python, explicando suas principais funções como coleta de hyperlinks e extração de informações. Apresenta várias bibliotecas e frameworks, como lxml e Scrapy, utilizados para manipulação de dados e suporte a seletores CSS e XPath. Além disso, menciona formatos de saída para os dados extraídos, como JSON, CSV e XML.
Python e suas aplicações
Python e suas aplicaçõesIzabela Guerreiro O documento discute as diversas aplicações da linguagem de programação Python, destacando sua simplicidade, versatilidade e amplo suporte da comunidade. Aborda implementações em software e hardware, além de mencionar bibliotecas e ferramentas para automação, hacking, desenvolvimento web, robótica e ciências. Também inclui exemplos práticos e listas de empresas que utilizam Python em suas operações.
Web Scraping: aplicações nos negócios e na ciência
Web Scraping: aplicações nos negócios e na ciênciaSidney Roberto O documento discute web scraping, resumindo o que é e como funciona, incluindo exemplos de aplicações em negócios e ciência. Também aborda questões legais relacionadas ao web scraping.
Crawleando a web feito gente grande com o scrapy
Crawleando a web feito gente grande com o scrapyBernardo Fontes A apresentação introduz o framework Scrapy para construir web crawlers em Python. Ela discute os principais componentes do Scrapy, incluindo Item para modelar dados, Request para fazer requisições, Spider para executar o crawler, e HtmlXPathSelector para selecionar partes da página. A apresentação também menciona outros recursos úteis do Scrapy como Item Pipeline, Scrapy Shell, Feed Exports e integração com Django.
O que podemos fazer com Python?
O que podemos fazer com Python?Izabela Guerreiro O documento fornece informações sobre o que pode ser feito com a linguagem de programação Python. Ele discute vários tópicos como desenvolvimento web, desktop, mobile, operações de sistemas, segurança, robótica e mais.
Novas Fronteiras
Novas FronteirasRangel Torrezan 1. As startups enxutas estão competindo com os gigantes da tecnologia usando ferramentas como Design Thinking, Canvas, Lean Startup e Cloud/PaaS para reduzir custos e tempo de desenvolvimento. 2. Linguagens dinâmicas e bancos de dados NoSQL também ajudam a reduzir custos e tempo de desenvolvimento. 3. Práticas ágeis e uso extensivo de software livre permitem inovar mais rápido.
Capturando a web com Scrapy
Capturando a web com ScrapyGabriel Freitas O documento descreve como usar a biblioteca Scrapy em Python para criar um web crawler. Ele explica o que é um web crawler, sua estrutura básica e como Scrapy resolve problemas comuns como autenticação, sessões, requisições simultâneas e persistência de dados. Em seguida, guia o leitor passo a passo na criação de um crawler para extrair informações de lutadores do site UFC.com.
Curso JavaScript - Aula sobre DOM e Ajax
Curso JavaScript - Aula sobre DOM e AjaxTiago Antônio da Silva O documento discute conceitos como DOM, JavaScript, CSS, Ajax e JSON para modificar dinamicamente páginas HTML 5. Inclui explicações sobre como manipular e alterar elementos HTML, capturar eventos, estilos e carregar conteúdo sem recarregar a página usando Ajax. Também apresenta a sintaxe e uso de JSON para transporte de dados.
Apresentção sobre machine learning, IA, inteligencia artificial
Apresentção sobre machine learning, IA, inteligencia artificialElberOliveira6 O documento apresenta uma introdução ao machine learning, destacando que se trata de um campo da ciência da computação onde sistemas aprendem a interpretar dados sem programação explícita. Explica os principais métodos, como aprendizado supervisionado e não supervisionado, e oferece exemplos aplicáveis, como filtros de spam e deep learning. A profundidade do aprendizado é associada a redes de neurônios artificiais, refletindo o funcionamento do cérebro humano.
Machine learning
Machine learningJoão Paulo Marinho Martins O documento discute o aprendizado de máquina, sua definição, aplicações e importância, destacando sua relação com a inteligência artificial. Menciona várias bibliotecas open source utilizadas na indústria, como TensorFlow e Scikit-learn, além de abordar tipos de aprendizado e problemas associados. Por fim, destaca a relevância do aprendizado de máquina como um avanço tecnológico significativo.
[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...
[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...Deep Tech Brasil O documento apresenta uma introdução sobre inteligência artificial e machine learning. A agenda inclui tópicos como o mercado atual, definição de IA/ML, conhecimentos recomendados, tipos de aprendizagem, passos para treinamento de modelos, AutoML, problemas comuns e implementação de modelos. O palestrante também apresenta uma demonstração prática usando um conjunto de dados sobre clientes de cartão de crédito.
Introdução à aprendizado de máquina - ESX 2016
Introdução à aprendizado de máquina - ESX 2016Charles Mendes de Macedo O documento introduz o aprendizado de máquina, definindo-o como um subcampo da inteligência artificial que permite aos computadores aprenderem sem programação explícita. Explora os principais paradigmas de aprendizado de máquina, como aprendizado supervisionado, não supervisionado e por reforço, e categorias de algoritmos como classificação e regressão. Finalmente, discute casos de sucesso e ferramentas para aprendizado de máquina.
First Big Data Week
First Big Data Week Hélio Silva O documento discute as tendências e tecnologias emergentes em machine learning, incluindo como machine learning se conecta a temas como internet das coisas, cidades inteligentes e saúde. Também aborda conceitos como deep learning, aplicações de machine learning e desafios éticos emergentes.
BSDDAY 2019 - Data Science e Artificial Intelligence usando Freebsd
BSDDAY 2019 - Data Science e Artificial Intelligence usando FreebsdMauro Risonho de Paula Assumpcao O documento discute o aprendizado de máquina e ciência de dados usando FreeBSD. Ele fornece uma introdução ao aprendizado de máquina, incluindo coleta e preparação de dados, treinamento e avaliação de modelos. Também lista pacotes equivalentes em FreeBSD para os pacotes populares de ciência de dados em Anaconda.
Machine Learning: introdução e aplicações
Machine Learning: introdução e aplicaçõesLuana da Silva O documento apresenta uma introdução sobre aprendizado de máquina, incluindo conceitos importantes, tipos de aprendizado e aplicações. É dividido em seções tratando de introdução, conceitos, tipos de aprendizado supervisionado, não-supervisionado e por reforço, avaliação de algoritmos e considerações finais.
Inteligência artificial - Uma introdução ao Deep Learning com Linux
Inteligência artificial - Uma introdução ao Deep Learning com LinuxAlex Camargo O documento apresenta uma palestra sobre inteligência artificial, aprendizado de máquina e aprendizado profundo. A palestra inclui uma introdução ao tema, objetivos, definições dos principais conceitos e exemplos históricos do desenvolvimento da área.
Introdução ao Machine Learning para Hackers
Introdução ao Machine Learning para HackersGabriel Cypriano Saca Este documento introduz conceitos de machine learning e deep learning para iniciantes. Ele discute o que é machine learning, exemplos de aplicações como spam, recomendações e carros autônomos, e como iniciar com regressão linear e clusterização usando Python. Também apresenta arquiteturas de deep learning como redes neurais recorrentes e convolucionais.
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidade
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidadeCarlos Augusto Oeiras O documento discute conceitos básicos de machine learning, incluindo o que é ML, tipos de algoritmos, o processo de aprendizagem e criação de modelos. Explica que ML automatiza a construção de modelos analíticos para análise de dados e que é essencial para quando não se pode codificar ou escalonar soluções. Detalha as etapas do processo de aprendizagem, incluindo treinamento, validação e teste.
Data Mining e Machine Learning com Python - Mateus Grellert - Tchelinux Pelot...
Data Mining e Machine Learning com Python - Mateus Grellert - Tchelinux Pelot...Tchelinux Este documento apresenta um resumo sobre data mining e machine learning com Python. Ele introduz os conceitos de ciência de dados, data mining e machine learning, discute exemplos de aplicações e fontes de dados. Também aborda ferramentas em Python como pandas e scikit-learn, e o fluxo de projeto que inclui limpeza, visualização, transformação, treinamento e avaliação de modelos preditivos.
Oficina PostgreSQL Básico Latinoware 2012
Oficina PostgreSQL Básico Latinoware 2012Fabrízio Mello O documento apresenta uma oficina básica sobre PostgreSQL ministrada por Fabrizio de Royes Mello. A agenda inclui introdução ao PostgreSQL, preparação do servidor, e manipulação de bancos de dados. O público aprenderá sobre instalação, configuração de clusters, criação e remoção de bancos de dados no PostgreSQL.
TDC2016SP - Trilha BigData
TDC2016SP - Trilha BigDatatdc-globalcode O documento apresenta uma introdução ao machine learning para desenvolvedores, descrevendo conceitos como aprendizagem supervisionada e não supervisionada, e serviços da Amazon como o Amazon Machine Learning (AML) para criação, treinamento e uso de modelos preditivos de maneira fácil. Também mostra etapas como exploração e entendimento dos dados, treinamento e avaliação de modelos, e geração de previsões por batch ou em tempo real.
Data Science, Machine Learning and Big Data
Data Science, Machine Learning and Big DataFabrício Barth O documento discute como ciência de dados, aprendizado de máquina e big data podem ser usados para prever crimes, terremotos e recomendar itens para usuários. Ele explica que esses projetos manipulam grandes volumes de dados variados para criar modelos preditivos.
Machine learning java ce conference 2012 - fortaleza ce
Machine learning java ce conference 2012 - fortaleza ceLuca Bastos 1) O documento discute machine learning e apresenta o Weka, uma ferramenta de código aberto para aprendizado de máquina.
2) O Weka contém algoritmos de aprendizado supervisionado e não supervisionado, pré-processamento de dados e interfaces gráficas.
3) O documento explica como usar o Weka para classificação, clustering, seleção de atributos e experimentação com diferentes algoritmos.
Estatística VS. Machine Learning
Estatística VS. Machine LearningSanta Catarina Federal University O documento explora as principais diferenças entre estatística e aprendizado de máquina, enfatizando seus propósitos distintos: a estatística busca inferência sobre relações entre variáveis, enquanto o aprendizado de máquina se concentra em fazer predições precisas. Além disso, o autor discute aplicações práticas de ambos os campos e apresenta ferramentas relevantes. O texto também aborda a confusão comum em relação ao uso dos métodos de cada área.
Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?Sandro Moreira O documento apresenta uma introdução ao deep learning, abordando desde questões fundamentais sobre aprendizado até suas aplicações práticas, como reconhecimento de padrões e veículos autônomos. O autor, Sandro Moreira, discute níveis de proficiência e fornece recursos e exemplos para o aprendizado, incluindo linguagens de programação e bibliotecas úteis. Além disso, são sugeridos cursos online e livros recomendados para aprofundamento no tema.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre O documento aborda o uso do PostgreSQL em ambientes híbridos de Big Data Analytics, destacando a experiência do palestrante em software livre e Big Data. Ele explora conceitos-chave como os 4 V's do Big Data (velocidade, volume, variedade e valor) e a evolução dos processos de análise de dados. Além disso, discute a importância da adaptação de processos e das competências necessárias para lidar com o crescente volume de informações nas empresas.
Analise de Dados com Azure Machine Learning, R e Power BI
Analise de Dados com Azure Machine Learning, R e Power BI Orlando Mariano O documento apresenta uma introdução sobre machine learning, Azure Machine Learning, linguagem R e Power BI, incluindo seus usos e funcionalidades. A apresentação também inclui uma demonstração de como implementar uma regressão linear no Azure ML para prever o consumo de combustível de veículos com base em suas propriedades.
Big Query - Escalabilidade Infinita para os seus Dados
Big Query - Escalabilidade Infinita para os seus DadosAlvaro Viebrantz O documento apresenta o BigQuery, um banco de dados totalmente gerenciado que oferece escalabilidade infinita e é otimizado para consultas SQL, com preços baseados no uso. Ele destaca cenários de uso, como análise de dados em larga escala e mineração de dados, demonstrando a eficiência do BigQuery em comparação com bancos de dados tradicionais, como PostgreSQL. Além disso, aborda características adicionais como machine learning integrado e suporte a fontes de dados federadas.
Ganhando tempo automatizando com SQL
Ganhando tempo automatizando com SQLDickson S. Guedes O documento aborda a automação com SQL e PSQL, destacando como variáveis e macros podem ser usadas para otimizar comandos. Ele explora a desconstrução de consultas SQL complexas e apresenta exemplos práticos para iniciantes. O público-alvo são aqueles que buscam melhorar sua eficiência na manipulação de banco de dados utilizando PSQL.
O mínimo necessário que você precisa conhecer sobre computação quântica
O mínimo necessário que você precisa conhecer sobre computação quânticaDickson S. Guedes O documento fornece uma introdução básica sobre computação quântica, abordando seus princípios, aplicações potenciais e desafios. Em particular, discute os conceitos de qubit, circuitos quânticos e algoritmos como o problema de Deutsch-Jozsa. O autor também fornece referências e links para recursos adicionais sobre o assunto.
Mais conteúdo relacionado
Semelhante a Primeiros passos machine learning PostgreSQL (20)
Apresentção sobre machine learning, IA, inteligencia artificial
Apresentção sobre machine learning, IA, inteligencia artificialElberOliveira6 O documento apresenta uma introdução ao machine learning, destacando que se trata de um campo da ciência da computação onde sistemas aprendem a interpretar dados sem programação explícita. Explica os principais métodos, como aprendizado supervisionado e não supervisionado, e oferece exemplos aplicáveis, como filtros de spam e deep learning. A profundidade do aprendizado é associada a redes de neurônios artificiais, refletindo o funcionamento do cérebro humano.
Machine learning
Machine learningJoão Paulo Marinho Martins O documento discute o aprendizado de máquina, sua definição, aplicações e importância, destacando sua relação com a inteligência artificial. Menciona várias bibliotecas open source utilizadas na indústria, como TensorFlow e Scikit-learn, além de abordar tipos de aprendizado e problemas associados. Por fim, destaca a relevância do aprendizado de máquina como um avanço tecnológico significativo.
[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...
[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...Deep Tech Brasil O documento apresenta uma introdução sobre inteligência artificial e machine learning. A agenda inclui tópicos como o mercado atual, definição de IA/ML, conhecimentos recomendados, tipos de aprendizagem, passos para treinamento de modelos, AutoML, problemas comuns e implementação de modelos. O palestrante também apresenta uma demonstração prática usando um conjunto de dados sobre clientes de cartão de crédito.
Introdução à aprendizado de máquina - ESX 2016
Introdução à aprendizado de máquina - ESX 2016Charles Mendes de Macedo O documento introduz o aprendizado de máquina, definindo-o como um subcampo da inteligência artificial que permite aos computadores aprenderem sem programação explícita. Explora os principais paradigmas de aprendizado de máquina, como aprendizado supervisionado, não supervisionado e por reforço, e categorias de algoritmos como classificação e regressão. Finalmente, discute casos de sucesso e ferramentas para aprendizado de máquina.
First Big Data Week
First Big Data Week Hélio Silva O documento discute as tendências e tecnologias emergentes em machine learning, incluindo como machine learning se conecta a temas como internet das coisas, cidades inteligentes e saúde. Também aborda conceitos como deep learning, aplicações de machine learning e desafios éticos emergentes.
BSDDAY 2019 - Data Science e Artificial Intelligence usando Freebsd
BSDDAY 2019 - Data Science e Artificial Intelligence usando FreebsdMauro Risonho de Paula Assumpcao O documento discute o aprendizado de máquina e ciência de dados usando FreeBSD. Ele fornece uma introdução ao aprendizado de máquina, incluindo coleta e preparação de dados, treinamento e avaliação de modelos. Também lista pacotes equivalentes em FreeBSD para os pacotes populares de ciência de dados em Anaconda.
Machine Learning: introdução e aplicações
Machine Learning: introdução e aplicaçõesLuana da Silva O documento apresenta uma introdução sobre aprendizado de máquina, incluindo conceitos importantes, tipos de aprendizado e aplicações. É dividido em seções tratando de introdução, conceitos, tipos de aprendizado supervisionado, não-supervisionado e por reforço, avaliação de algoritmos e considerações finais.
Inteligência artificial - Uma introdução ao Deep Learning com Linux
Inteligência artificial - Uma introdução ao Deep Learning com LinuxAlex Camargo O documento apresenta uma palestra sobre inteligência artificial, aprendizado de máquina e aprendizado profundo. A palestra inclui uma introdução ao tema, objetivos, definições dos principais conceitos e exemplos históricos do desenvolvimento da área.
Introdução ao Machine Learning para Hackers
Introdução ao Machine Learning para HackersGabriel Cypriano Saca Este documento introduz conceitos de machine learning e deep learning para iniciantes. Ele discute o que é machine learning, exemplos de aplicações como spam, recomendações e carros autônomos, e como iniciar com regressão linear e clusterização usando Python. Também apresenta arquiteturas de deep learning como redes neurais recorrentes e convolucionais.
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidade
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidadeCarlos Augusto Oeiras O documento discute conceitos básicos de machine learning, incluindo o que é ML, tipos de algoritmos, o processo de aprendizagem e criação de modelos. Explica que ML automatiza a construção de modelos analíticos para análise de dados e que é essencial para quando não se pode codificar ou escalonar soluções. Detalha as etapas do processo de aprendizagem, incluindo treinamento, validação e teste.
Data Mining e Machine Learning com Python - Mateus Grellert - Tchelinux Pelot...
Data Mining e Machine Learning com Python - Mateus Grellert - Tchelinux Pelot...Tchelinux Este documento apresenta um resumo sobre data mining e machine learning com Python. Ele introduz os conceitos de ciência de dados, data mining e machine learning, discute exemplos de aplicações e fontes de dados. Também aborda ferramentas em Python como pandas e scikit-learn, e o fluxo de projeto que inclui limpeza, visualização, transformação, treinamento e avaliação de modelos preditivos.
Oficina PostgreSQL Básico Latinoware 2012
Oficina PostgreSQL Básico Latinoware 2012Fabrízio Mello O documento apresenta uma oficina básica sobre PostgreSQL ministrada por Fabrizio de Royes Mello. A agenda inclui introdução ao PostgreSQL, preparação do servidor, e manipulação de bancos de dados. O público aprenderá sobre instalação, configuração de clusters, criação e remoção de bancos de dados no PostgreSQL.
TDC2016SP - Trilha BigData
TDC2016SP - Trilha BigDatatdc-globalcode O documento apresenta uma introdução ao machine learning para desenvolvedores, descrevendo conceitos como aprendizagem supervisionada e não supervisionada, e serviços da Amazon como o Amazon Machine Learning (AML) para criação, treinamento e uso de modelos preditivos de maneira fácil. Também mostra etapas como exploração e entendimento dos dados, treinamento e avaliação de modelos, e geração de previsões por batch ou em tempo real.
Data Science, Machine Learning and Big Data
Data Science, Machine Learning and Big DataFabrício Barth O documento discute como ciência de dados, aprendizado de máquina e big data podem ser usados para prever crimes, terremotos e recomendar itens para usuários. Ele explica que esses projetos manipulam grandes volumes de dados variados para criar modelos preditivos.
Machine learning java ce conference 2012 - fortaleza ce
Machine learning java ce conference 2012 - fortaleza ceLuca Bastos 1) O documento discute machine learning e apresenta o Weka, uma ferramenta de código aberto para aprendizado de máquina.
2) O Weka contém algoritmos de aprendizado supervisionado e não supervisionado, pré-processamento de dados e interfaces gráficas.
3) O documento explica como usar o Weka para classificação, clustering, seleção de atributos e experimentação com diferentes algoritmos.
Estatística VS. Machine Learning
Estatística VS. Machine LearningSanta Catarina Federal University O documento explora as principais diferenças entre estatística e aprendizado de máquina, enfatizando seus propósitos distintos: a estatística busca inferência sobre relações entre variáveis, enquanto o aprendizado de máquina se concentra em fazer predições precisas. Além disso, o autor discute aplicações práticas de ambos os campos e apresenta ferramentas relevantes. O texto também aborda a confusão comum em relação ao uso dos métodos de cada área.
Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?Sandro Moreira O documento apresenta uma introdução ao deep learning, abordando desde questões fundamentais sobre aprendizado até suas aplicações práticas, como reconhecimento de padrões e veículos autônomos. O autor, Sandro Moreira, discute níveis de proficiência e fornece recursos e exemplos para o aprendizado, incluindo linguagens de programação e bibliotecas úteis. Além disso, são sugeridos cursos online e livros recomendados para aprofundamento no tema.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre O documento aborda o uso do PostgreSQL em ambientes híbridos de Big Data Analytics, destacando a experiência do palestrante em software livre e Big Data. Ele explora conceitos-chave como os 4 V's do Big Data (velocidade, volume, variedade e valor) e a evolução dos processos de análise de dados. Além disso, discute a importância da adaptação de processos e das competências necessárias para lidar com o crescente volume de informações nas empresas.
Analise de Dados com Azure Machine Learning, R e Power BI
Analise de Dados com Azure Machine Learning, R e Power BI Orlando Mariano O documento apresenta uma introdução sobre machine learning, Azure Machine Learning, linguagem R e Power BI, incluindo seus usos e funcionalidades. A apresentação também inclui uma demonstração de como implementar uma regressão linear no Azure ML para prever o consumo de combustível de veículos com base em suas propriedades.
Big Query - Escalabilidade Infinita para os seus Dados
Big Query - Escalabilidade Infinita para os seus DadosAlvaro Viebrantz O documento apresenta o BigQuery, um banco de dados totalmente gerenciado que oferece escalabilidade infinita e é otimizado para consultas SQL, com preços baseados no uso. Ele destaca cenários de uso, como análise de dados em larga escala e mineração de dados, demonstrando a eficiência do BigQuery em comparação com bancos de dados tradicionais, como PostgreSQL. Além disso, aborda características adicionais como machine learning integrado e suporte a fontes de dados federadas.
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidade
"Desaprendizado de maquina" - Desmistificando machine learning na sua realidadeCarlos Augusto Oeiras
Mais de Dickson S. Guedes (20)
Ganhando tempo automatizando com SQL
Ganhando tempo automatizando com SQLDickson S. Guedes O documento aborda a automação com SQL e PSQL, destacando como variáveis e macros podem ser usadas para otimizar comandos. Ele explora a desconstrução de consultas SQL complexas e apresenta exemplos práticos para iniciantes. O público-alvo são aqueles que buscam melhorar sua eficiência na manipulação de banco de dados utilizando PSQL.
O mínimo necessário que você precisa conhecer sobre computação quântica
O mínimo necessário que você precisa conhecer sobre computação quânticaDickson S. Guedes O documento fornece uma introdução básica sobre computação quântica, abordando seus princípios, aplicações potenciais e desafios. Em particular, discute os conceitos de qubit, circuitos quânticos e algoritmos como o problema de Deutsch-Jozsa. O autor também fornece referências e links para recursos adicionais sobre o assunto.
Porque aprender várias linguagens me tornou um DBA (e desenvolvedor) melhor
Porque aprender várias linguagens me tornou um DBA (e desenvolvedor) melhorDickson S. Guedes Este documento discute como aprender várias linguagens de programação pode tornar alguém um melhor DBA (administrador de banco de dados) e desenvolvedor. Aprender novas linguagens ajuda a conectar pontos entre diferentes tecnologias e abordagens, melhorando a comunicação, percepção e pensamento crítico. É importante considerar por que cada linguagem surgiu para escolher aquelas que agregam mais valor.
Pattern matching - O que é? Onde vive? Do que se alimenta? Como se reproduz?
Pattern matching - O que é? Onde vive? Do que se alimenta? Como se reproduz?Dickson S. Guedes A palestra sobre pattern matching foi interativa, utilizando jogos para demonstrar conceitos sobre listas e recursividade. Embora tenha abordado vários níveis de complexidade, foi mencionada a possibilidade de uma parte dois para aprofundar o tema. A apresentação incluiu práticas com o Elixir e manipulação de dados, como ler tags de arquivos de música MP3.
Dicas de sobrevivência de um DBA sem mouse
Dicas de sobrevivência de um DBA sem mouseDickson S. Guedes O documento apresenta dicas de sobrevivência para DBAs que trabalham sem mouse, abordando comandos úteis do terminal e ferramentas como sed, csvkit e jq. Inclui exemplos de manipulação de dados e gerenciamento de processos, além de práticas para otimização de memória. A apresentação foi feita por Dickson S. Guedes e disponibilizada online.
Destistificando o EXPLAIN
Destistificando o EXPLAIN Dickson S. Guedes Este documento resume os principais conceitos de bancos de dados relacionais utilizando PostgreSQL. Inclui exemplos de criação de tabelas, tipos de busca como sequencial scan e index scan, diferentes tipos de junções como nested loop, merge join e hash join, e agregações com grupo.
Falando "Postgrês"
Falando "Postgrês"Dickson S. Guedes 1) A palestra introduz o PostgreSQL e discute como ele se relaciona com o Python, incluindo padrões, documentação, extensibilidade e interoperabilidade entre as duas tecnologias.
2) O documento também discute conceitos importantes do PostgreSQL como tipos JSON, funções de agregação, NULL vs None e registros/tuplas.
3) Finalmente, o documento explora vários recursos avançados do SQL como VALUES, operações com NULL e infinito.
Se meu elefante falasse
Se meu elefante falasseDickson S. Guedes This document outlines various commands for managing a Telegram bot, including creating, modifying, and deleting a bot. It also discusses the setup and usage of foreign data wrappers in PostgreSQL to create foreign tables and execute queries on them. Additionally, it provides a code structure for a custom foreign data wrapper implementation.
Curiosidades que você (talvez) não sabia e se sabia vale a pena lembrar
Curiosidades que você (talvez) não sabia e se sabia vale a pena lembrarDickson S. Guedes Este documento fornece várias curiosidades sobre o PostgreSQL, resumidas em 3 frases:
1) O documento apresenta diversos truques e funcionalidades avançadas do PostgreSQL, incluindo o uso de funções aninhadas, manipulação de datas e NULLs, e formas alternativas de escrever consultas.
2) Também mostra como usar recursos como o PSQL para facilitar a execução de consultas, como variáveis e conexões, e discute conceitos como serials e operadores.
3) Por fim, incentiva o leitor a apre
O Elefante Poliglota
O Elefante PoliglotaDickson S. Guedes O documento descreve como transformar um servidor Postgres em um servidor WEB utilizando recursos como PLV8, LISTEN/NOTIFY e pg_web_app para criar uma aplicação TODO list que pode ser acessada via requisições HTTP. O documento também discute outros recursos do Postgres como extensibilidade, tipos de dados e linguagens de programação integradas.
Como encontrar uma agulha num palheiro de logs
Como encontrar uma agulha num palheiro de logsDickson S. Guedes This document provides an overview of using Logstash, Elasticsearch, and Kibana to parse, index, and visualize log data. It discusses:
1) How these tools can help "find a needle in a haystack" by extracting useful information from logs and making it searchable.
2) Setting up the ELK stack with Logstash to collect log data from stdin, Elasticsearch for indexing, and Kibana for visualization.
3) Examples of using Logstash pipelines, querying data with Elasticsearch, and visualizing results in Kibana.
Como encontrar uma agulha no palheiro de logs do PostgreSQL
Como encontrar uma agulha no palheiro de logs do PostgreSQLDickson S. Guedes O documento discute como analisar logs do PostgreSQL para encontrar informações importantes. Ele explica o que compõe um evento de log e dá exemplos de como adicionar contexto aos logs. Também apresenta Logstash como uma ferramenta para processar logs e fala sobre a importância de registrar eventos de forma estruturada.
Gerenciando múltiplas versões do PostgreSQL com pgvm
Gerenciando múltiplas versões do PostgreSQL com pgvmDickson S. Guedes The document discusses PGVM, a tool for managing multiple versions of PostgreSQL. It demonstrates installing PostgreSQL version 9.1 using PGVM, creating and starting a cluster named "teste123_pgbr" running version 9.2.4, and connecting to the cluster through the PGVM console. The document ends by providing contact information for any questions.
PGXN - Como distribuir suas extensões com o PostgreSQL
PGXN - Como distribuir suas extensões com o PostgreSQLDickson S. Guedes O documento discute como distribuir extensões para PostgreSQL usando o PGXN. O PGXN fornece um índice central de extensões com documentação e ferramentas para pesquisa e instalação fácil. Demostrações mostram como usar o cliente PGXN e as utilidades PGXN para criar e empacotar extensões. O documento encoraja o compartilhamento de conhecimento através de extensões de código aberto.
Pgxn.pgday
Pgxn.pgdayDickson S. Guedes O documento discute como distribuir extensões para PostgreSQL usando o PGXN. O PGXN fornece um índice central de extensões com documentação e ferramentas para pesquisa e instalação fácil. Demonstrações mostram como usar o cliente PGXN e as utilidades PGXN para criar e empacotar extensões. O documento encoraja o compartilhamento de conhecimento através de extensões de código aberto.
Estripando o Elefante - (Trabalhando com extensões no PostgreSQL)
Estripando o Elefante - (Trabalhando com extensões no PostgreSQL)Dickson S. Guedes O documento discute como dividir aplicações complexas em módulos menores utilizando extensões do PostgreSQL. Isso permite melhor modularidade, reutilização de código e gerenciamento de versões. O exemplo mostra como criar validadores de CPF e e-mail como uma extensão, permitindo validações no banco de dados de forma centralizada.
Plante uma árvore, escreva um livro, tenha um filho e contribua com software ...
Plante uma árvore, escreva um livro, tenha um filho e contribua com software ...Dickson S. Guedes O documento discute a importância de contribuir com software livre, seja plantando árvores, escrevendo livros ou tendo filhos. Ele explica a diferença entre software livre e gratuito e encoraja as pessoas a participarem de projetos de código aberto, seja traduzindo, documentando ou escrevendo código. Também fornece dicas sobre como começar a contribuir e como gerenciar projetos de software livre.
Conhecendo Postgresql.- ENECOMP 2009
Conhecendo Postgresql.- ENECOMP 2009Dickson S. Guedes O documento fornece uma visão geral do banco de dados PostgreSQL, discutindo sua história, desenvolvimento, recursos necessários e funcionalidades. Ele resume a evolução do PostgreSQL desde seu início como projeto acadêmico até se tornar uma opção popular e poderosa de banco de dados open source.
Testes unitarios no PostgreSQL com pgTAP
Testes unitarios no PostgreSQL com pgTAPDickson S. Guedes O documento fornece uma introdução sobre testes unitários no PostgreSQL usando pgTAP. Ele discute conceitos como qualidade de software, testes unitários e o papel do DBA. Também explica como preparar o ambiente pgTAP, entender os scripts de teste e os diferentes tipos de testes suportados pelo pgTAP.
Anúncio
Primeiros passos machine learning PostgreSQL
- 1. Primeiros passos Machine Learning no PostgreSQL Dickson S. Guedes twitter: guediz / github: guedes
- 3. Apresentação Pessoal • as pessoas me chamam de Guedes • costumo usar • PostgreSQL, Elasticsearch • Python, Rust, Elixir, Ruby, R • Emacs, Jupyter • Ansible, Docker, Zabbix, Grafana, Logstash • meetups • Python Floripa, Devops, DBFloripa • eventos • FISL, PGBR, DBA Brasil 1.0, TDC
- 4. O que você vai ver hoje? • introdução Machine Learning (ML) • banco de dados PostgreSQL (BD ou Postgres) • Python • SQL’s • notebooks • um careca falando...
- 5. Machine Learning em um slide • qual é a pergunta? • o que eu quero descobrir? • quero prever um valor? é regressão • quero agrupar elementos com características comuns? é cluster • quero classificar algo baseado em características? é classificação • vou trabalhar com imagens? deep learning! • posso usar os dados que eu tenho para o propósito que quero?
- 6. Machine Learning é burro Oi?!
- 7. ML pode não diferenciar um cachorro de um biscoito
- 8. ML pode não diferenciar um cachorro de um esfregão
- 9. ML pode ser trollado pelo Saruman
- 10. Machine Learning em outro slide • obtenha os dados com a melhor qualidade possível • prepare e entenda os dados • qual a pergunta? ela pode ser respondida pelos dados? • escolha o algoritmo • divida os dados em treino, teste e validação • treine • teste • valide • descubra (?) a resposta
- 11. O que virá pela frente? • Linguagens como Python ou R • Bibliotecas de Machine learning, como Sklearn, Tensorflow, Keras, MADlib (nosso exemplo do dia) • Necessidade de muito potencial de processamento • Necessidade de muita memória
- 12. ML + BD • você está mais próximo dos dados • transferência apenas dos resultados entre o banco e cliente • o banco gerencia bem memória quando os dados não cabem • os modelos ficam disponíveis para todos que acessam o banco • devem existir outros motivos...
- 13. Show me the code • PostgreSQL 10 • Python 2.7 • MADlib 1.14 • Jupyter Notebook 4.4 • O código apresentado está disponível no Github: • https://github.com/guedes/notebooks-exemplo/blob/master/Exemplo%20regressao%20linear%20c om%20MADLib%20e%20PostgreSQL.ipynb
- 14. Comece a ler sobre... • GPU • TPU • Cloud E veja o que estão falando sobre... • Computação quântica • Blockchain + Machine learning
- 15. Referências • PostgreSQL: o banco de dados que utilizamos • https://www.postgresql.org/ • MADlib: a biblioteca que usamos para machine learning no PostgreSQL: • http://madlib.apache.org • um mapa dos algoritmos e quando utilizá-los: • http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html • Jupyter Notebook • http://jupyter.org/ • Scikit Learn: para aprender sobre algoritmos e • http://scikit-learn.org • para aprender mais: • https://br.udacity.com/ • https://www.coursera.org/
- 16. Agradecimentos • aos que se mantiveram atentos • aos que não se mantiveram atentos mas estão aí firme e forte • aos que não puderam ficar até agora e tiveram que sair • às comunidades PostgreSQL, Python, DBA Brasil • a Apache Software Foundation pela MADlib