Capturando dados com Python - UAI Python

29 de ago. de 20158 gostaram4,759 visualizações

Este documento apresenta uma introdução sobre como capturar e normalizar dados com Python. Ele discute como usar bibliotecas como Requests e Scrapy para capturar dados de APIs e sites, e como a biblioteca Rows pode ajudar na normalização dos dados em um formato amigável. Também menciona a importância de dados abertos e projetos como Brasil.IO e 5StarData.

Capturando
Dados Com
Python
Turicas aka Álvaro Justen
UAI Python!
29 de agosto de 2015, Belo Horizonte/MG

Turicas, prazer! =)
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info

E Vocês?Python?
Crawling/parsing de dados?
Análise/visualização de dados?

RoteiroJornalismo de dados
Capturade dados
LIVE CODING
Normalização de dados
LIVE CODING
Dados abertos, Brasil.IO etc.

Funil de Dados1. Captura: encontrar e baixar
2. Normalização: colocar em um formato amigável
3. Análise: ver o que tem de bom
4. Visualização: mostrar paraos leigos

Funil de Dados
[2]4. Visualização: cerejado bolo
3. Análise: onde ocorrem os insights
2. Normalização: pé no saco
1. Captura: pé no saco [2]

Captura: APIspip install requests
pip install tapioca-facebook

Captura: Nem
Tudo São Florespip install splinter
pip install scrapy

Capturando dados com Python - UAI Python

Normalizaçãopip uninstall beaufitulsoup4
pip uninstall lxml
pip install rows

rows
0.1.0 hoje(especialmente pravcs <3)
Contribuições são bem-vindas!
gihub.com/turicas/rows

Dados AbertosDados Públicos
Transparência
Empoderamento
dados.gov.br

Brasil.IO
Contribuições são bem-vindas!
github.com/turicas/api.brasil.io
groups.google.com/group/brasil-io
twitter.com/brasil_io
facebook.com/api.brasil.io
#Brasil.IO@ irc.FreeNode.net

Obrigado! (:
Turicas aka Álvaro Justen
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info
bit.ly/uaipython-turicas

Recomendados

[FISL17] Liberando dados com um comando, por Álvaro JustenÁlvaro Justen

Slides da palestra ministrada por Álvaro Justen durante o 17º Fórum Internacional de Software Livre, em 15 de julho de 2016, Porto Alegre/RS. Vídeo: https://www.youtube.com/watch?v=WY-A2hYg0rI Slides originais: http://turicas.info/slides/rows/fisl17 Links: - https://twitter.com/turicas - https://github.com/turicas

import brasil: Dados Abertos de Forma FácilÁlvaro Justen

Slides da palestra sobre dados abertos com Python e sobre o Brasil.IO que ministrei no 15º Fórum Internacional de Software Livre, de 14 às 15h na sala 41B, no dia 7 de maio de 2014, em Porto Alegre, Brasil. Acesse a versão dinâmica dessa apresentação em: http://turicas.info/slides/brasil.io/fisl15/ Álvaro Justen aka Turicas: - https://twitter.com/turicas - https://github.com/turicas - http://facebook.com/alvarojusten

Dados tabulares: A Maneira PythônicaÁlvaro Justen

Turicas apresenta a biblioteca rows para Python, que facilita a importação e normalização de dados tabulares de diferentes formatos como CSV, HTML e XLS em uma única API. Com rows, os dados são automaticamente convertidos para os tipos corretos como datetime e decimal, e podem ser facilmente exportados de volta aos mesmos ou diferentes formatos. A biblioteca também inclui funcionalidades como interface de linha de comando e testes automatizados.

Libertando dados públicos com ferramentas livresÁlvaro Justen

Introdução a Programação com PythonÁlvaro Justen

Introdução a linguagem Python: simples e produtivaÁlvaro Justen

Software Livre versus Open SourceÁlvaro Justen

Intropugpe

Arduino + Python: produtividade ao extremoÁlvaro Justen

Hackeando Dados públicos com pythonFATEC São José dos Campos

Desenvolvimento de aplicações embarcadas utilizando PythonFlávio Ribeiro

Desvendando o pythonRodrigo Lira

O documento apresenta uma introdução à linguagem de programação Python. Resume os principais pontos da apresentação em 3 frases: 1) Python é uma linguagem de programação de alto nível, interpretada e multiplataforma criada por Guido van Rossum em 1991. 2) A apresentação explica o que é Python, como executar um "Hello World", suas principais implementações, quem a utiliza e suas bibliotecas, frameworks e IDEs. 3) São dados exemplos de como iniciar com a linguagem, desde cursos online até participação em grupos de usuários e a lista

Python Poli 2010Rodrigo Lira

Apresentação Python PoliRodrigo Lira

Python, A pílula Azul da programaçãoMarcel Caraciolo

Oficina Python: Hackeando a Web com Python 3Marcel Caraciolo

Desbravando a web com python - Matheus LimaMatheus Dos Santos Lima

O documento apresenta Matheus Lima e discute como começar a desenvolver aplicações web com a linguagem Python. Ele introduz os frameworks Flask, Django e Web2py, discute como o Django pode agilizar projetos web através de sua arquitetura MVT e ORM, e como o Fabric pode automatizar tarefas de deploy. Um exemplo prático é dado sobre como o site MeuEstagio.com foi reescrito em Django em menos tempo.

Python e tipagem estáticaVinta Software

Isso funciona? É pythonico? Pode ser um caminho? Qual a diferença do módulo typing pra lib mypy? Python é uma linguagem de tipagem forte e dinâmica(ou será que ainda é?), mas desde sua versão 3.5, com o módulo typing, é possível utilizar uma tipagem mais explícita sem alterar todo código. mypy é um projeto que nos possibilita também utilizar tipagem estática de maneira similar ao typing, embora o mypy seja mais antigo e também suporta Python 2 enquanto o módulo typing funciona apenas com Python 3. Vamos discutir, ver exemplos de aplicação, mostrando tanto o uso com a biblioteca mypy quanto com o módulo nativo typing(python >= 3.5), bem como (des)vantagens e onde/quando usar, ou não, tipagem estática.

Encontro da Comunidade Python Brasileira - FISL11Dorneles Treméa

O documento apresenta a agenda de um encontro da comunidade Python Brasileira, incluindo uma visão geral do Python no Brasil, informações sobre a Associação Python Brasil (APyB), estatísticas sobre grupos de usuários Python no país, novidades das versões Python 2.7 e 3.1, integração com a Python Software Foundation, eventos relacionados a Python como PythonBrasil e PythonCampus, e palestras relâmpago durante o encontro.

Oficina de Python - Tchelinux Livramento 2013Jerônimo Medina Madruga

Construindo Comunidades Open-Source Bem Sucedidas: Experiências do PUG-PEMarcel Caraciolo

O documento descreve a jornada do PUG-PE (Grupo de Usuários de Python de Pernambuco) ao longo dos anos, desde sua fundação. O PUG-PE começou como uma pequena equipe e cresceu para se tornar uma escola, uma rede social e uma comunidade que promove discussões, eventos e código compartilhado. O documento também discute os desafios iniciais de construir uma comunidade e os princípios-chave para o seu sucesso, como confiança, diálogo, contato pessoal e dar sem esperar

Seja feliz programando em pythonFATEC São José dos Campos

Multirão Python - introdução ao py serial com gtk3 e arduinoAntonio Thomacelli

O Prazer De Trabalhar Com PythonMarinho Brandão

1) O documento apresenta Python como uma linguagem de programação multi-paradigma, de código aberto e fácil de aprender. 2) Apresenta exemplos de código em Python que demonstram diferentes paradigmas como estruturado, orientado a objetos, funcional e aspectos. 3) Discutem empresas que usam Python em larga escala como Google, YouTube, DreamWorks e o papel importante da linguagem em seus sistemas.

Python-Fenalivre-ImedLuciano Camargo Cruz

Canivete pythonAnderson Dantas

Python e 10 motivos por que devo conhece-la ?Marcel Caraciolo

Canivete suíço do PythonDouglas Soares de Andrade

Python para análise de dadosCaique Lima

Estudo de caso do "O Curioso" (Rio on Rails)guestf4f70f

Anúncio

Mais conteúdo relacionado

Mais procurados (20)

Arduino + Python: produtividade ao extremoÁlvaro Justen

Hackeando Dados públicos com pythonFATEC São José dos Campos

Desenvolvimento de aplicações embarcadas utilizando PythonFlávio Ribeiro

Desvendando o pythonRodrigo Lira

Python Poli 2010Rodrigo Lira

Apresentação Python PoliRodrigo Lira

Python, A pílula Azul da programaçãoMarcel Caraciolo

Oficina Python: Hackeando a Web com Python 3Marcel Caraciolo

Desbravando a web com python - Matheus LimaMatheus Dos Santos Lima

Python e tipagem estáticaVinta Software

Encontro da Comunidade Python Brasileira - FISL11Dorneles Treméa

Oficina de Python - Tchelinux Livramento 2013Jerônimo Medina Madruga

Construindo Comunidades Open-Source Bem Sucedidas: Experiências do PUG-PEMarcel Caraciolo

Seja feliz programando em pythonFATEC São José dos Campos

Multirão Python - introdução ao py serial com gtk3 e arduinoAntonio Thomacelli

O Prazer De Trabalhar Com PythonMarinho Brandão

Python-Fenalivre-ImedLuciano Camargo Cruz

Canivete pythonAnderson Dantas

Python e 10 motivos por que devo conhece-la ?Marcel Caraciolo

Canivete suíço do PythonDouglas Soares de Andrade

Arduino + Python: produtividade ao extremoÁlvaro Justen

Hackeando Dados públicos com pythonFATEC São José dos Campos

Desenvolvimento de aplicações embarcadas utilizando PythonFlávio Ribeiro

Desvendando o pythonRodrigo Lira

Python Poli 2010Rodrigo Lira

Apresentação Python PoliRodrigo Lira

Python, A pílula Azul da programaçãoMarcel Caraciolo

Oficina Python: Hackeando a Web com Python 3Marcel Caraciolo

Desbravando a web com python - Matheus LimaMatheus Dos Santos Lima

Python e tipagem estáticaVinta Software

Encontro da Comunidade Python Brasileira - FISL11Dorneles Treméa

Oficina de Python - Tchelinux Livramento 2013Jerônimo Medina Madruga

Construindo Comunidades Open-Source Bem Sucedidas: Experiências do PUG-PEMarcel Caraciolo

Seja feliz programando em pythonFATEC São José dos Campos

Multirão Python - introdução ao py serial com gtk3 e arduinoAntonio Thomacelli

O Prazer De Trabalhar Com PythonMarinho Brandão

Python-Fenalivre-ImedLuciano Camargo Cruz

Canivete pythonAnderson Dantas

Python e 10 motivos por que devo conhece-la ?Marcel Caraciolo

Canivete suíço do PythonDouglas Soares de Andrade

Destaque (17)

Python para análise de dadosCaique Lima

Estudo de caso do "O Curioso" (Rio on Rails)guestf4f70f

Shut up and give me the dataAna Paula Gomes

Hoje em dia é possível extrair informações importantes a partir dos dados que as pessoas compartilham na internet. De posse dessas informações as possibilidades são infinitas: podemos saber onde as pessoas costumam ir, sua personalidade ou qual propaganda é mais adequada para ela. A coleta de dados é um passo importante para a extração de informações e possui diversas técnicas. Nesta palestra serão exibidas algumas técnicas para coleta de dados com o Python em sites como Marvel, Twitter e Foursquare.

LOCKSS Como funciona 2007Miguel Angel Mardero Arellano

O documento descreve o projeto LOCKSS (Lots of Copies Keeps Stuff Safe), um sistema de código aberto para preservação digital de periódicos eletrônicos através da replicação de dados entre bibliotecas participantes. O LOCKSS permite que as bibliotecas armazenem, preservem e distribuam digitalmente periódicos assinados, mesmo que o editor não esteja mais disponibilizando. Cada biblioteca mantém cópias que são constantemente comparadas e atualizadas entre as demais bibliotecas da rede.

Web - CrawlersNobre Pedro

Curso YaCy Mecanismo de Busca de Código AbertoJulio Della Flora

Scraping by examplesAlexandre Gomes

Scraping for fun and gloryitalomaia

Java Web ScrapingSumant Raja

The document discusses web scraping including: 1) The stages of web scraping including connecting to a site, extracting and processing data, and saving the data. Useful APIs are also mentioned. 2) Limitations of some APIs for tasks like older Excel versions and certain PDF encodings. 3) The definitions and importance of internationalization (I18n) and localization (L10n) when scraping data from different locales, including converting formats like numbers, dates, and units of measure.

Web crawlerDaniel Mantovani

Desbravando o mundo dos webcrawlersJoão Gabriel Lima

Capturando a web com ScrapyGabriel Freitas

ScrapingVítor Baptista

Raspador: Biblioteca em Python para extração de dados em texto semi-estruturadoFernando Macedo

Slides em HTML5: http://fgmacedo.github.io/talks/pybr9_raspador Palestra apresentada na PythonBrasil[9], em Brasília. Com aproximadamente 500 linhas de código (+testes), o raspador é uma mini-biblioteca para extração de dados em fontes semi-estruturadas. Está em produção utilizado como fundamento para extração de dados em Espelhos MFD de impressoras fiscais. A definição dos extratores é feita através de classes como modelos, de forma semelhante ao ORM do Django. Cada extrator procura por um padrão especificado por expressão regular, e a conversão para tipos primitidos é feita automaticamente a partir dos grupos capturados. O analisador é implementado como um gerador, onde cada item encontrado pode ser consumido antes do final da análise, caracterizando uma pipeline. A análise é foward-only, o que o torna extremamente rápido, e deste modo qualquer iterador que retorne uma string pode ser analisado, incluindo streams infinitos. Com uma base sólida e enxuta, é fácil construir seus próprios extratores. Além da utilidade da ferramenta, o raspador é um exemplo prático e simples da utilização de conceitos e recursos como iteradores, geradores, meta-programação e property-descriptors. http://2013.pythonbrasil.org.br/program/pb/other/raspador-uma-mini-biblioteca-tupiniquim-para-extracao-de-dados

Desenvolvendo web crawler/scraper com PythonRoselma Mendes

Crawleando a web feito gente grande com o scrapyBernardo Fontes

A apresentação introduz o framework Scrapy para construir web crawlers em Python. Ela discute os principais componentes do Scrapy, incluindo Item para modelar dados, Request para fazer requisições, Spider para executar o crawler, e HtmlXPathSelector para selecionar partes da página. A apresentação também menciona outros recursos úteis do Scrapy como Item Pipeline, Scrapy Shell, Feed Exports e integração com Django.

Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...Daniel Makiyama

Python para análise de dadosCaique Lima

Estudo de caso do "O Curioso" (Rio on Rails)guestf4f70f

Shut up and give me the dataAna Paula Gomes

LOCKSS Como funciona 2007Miguel Angel Mardero Arellano

Web - CrawlersNobre Pedro

Curso YaCy Mecanismo de Busca de Código AbertoJulio Della Flora

Scraping by examplesAlexandre Gomes

Scraping for fun and gloryitalomaia

Java Web ScrapingSumant Raja

Web crawlerDaniel Mantovani

Desbravando o mundo dos webcrawlersJoão Gabriel Lima

Capturando a web com ScrapyGabriel Freitas

ScrapingVítor Baptista

Raspador: Biblioteca em Python para extração de dados em texto semi-estruturadoFernando Macedo

Desenvolvendo web crawler/scraper com PythonRoselma Mendes

Crawleando a web feito gente grande com o scrapyBernardo Fontes

Aprendendo Na Prática: Aplicativos Web Com Asp.Net MVC em C# e Entity Framewo...Daniel Makiyama

Anúncio

Semelhante a Capturando dados com Python - UAI Python (7)

Por que escolher Python?Igor Leroy

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Diogo Munaro Vieira

Python, por onde começar - Semana Technológica UTFPR 2015.Ramiro Luz

O que Python pode fazer e você não sabeEric Hideki

O que podemos fazer com Python?Izabela Guerreiro

Conhencendo Python e por que ela importa?Marcel Caraciolo

Apostila programzndo em Python - Aula 4.pdfThiagoCassimiro9

Por que escolher Python?Igor Leroy

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Diogo Munaro Vieira

Python, por onde começar - Semana Technológica UTFPR 2015.Ramiro Luz

O que Python pode fazer e você não sabeEric Hideki

O que podemos fazer com Python?Izabela Guerreiro

Conhencendo Python e por que ela importa?Marcel Caraciolo

Apostila programzndo em Python - Aula 4.pdfThiagoCassimiro9

Anúncio

Mais de Álvaro Justen (20)

Sobre os ombos de gigantesÁlvaro Justen

Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisÁlvaro Justen

Dados abertos, Python e PostgreSQL: a combinação perfeitaÁlvaro Justen

A era da pós-verdade - minhas reflexões e crençasÁlvaro Justen

Realmente precisamos de big data?Álvaro Justen

Ciência de Dados na Linha de ComandoÁlvaro Justen

1) O documento apresenta uma introdução à linha de comando e vários comandos úteis para análise e manipulação de dados, incluindo navegação em arquivos e diretórios, acesso e filtragem de dados, e combinação de comandos. 2) É demonstrado como descompactar, filtrar e analisar dois conjuntos de dados do Brasil.IO usando comandos como grep, cut e SQLite. 3) Scripts são apresentados como uma forma de automatizar tarefas comuns na linha de comando.

Brasil.IO: Libertação de Dados Públicos, com PythonÁlvaro Justen

#opendata #fail: Causos da Transparência BrasileiraÁlvaro Justen

Brasil.IO: Dados Abertos para Mais DemocraciaÁlvaro Justen

Dados abertos, direito autoral e democraciaÁlvaro Justen

Jornalismo de Dados: Programando a Democracia no BrasilÁlvaro Justen

Python no JornalismoÁlvaro Justen

Introdução a programação com Python (para jornalistas)Álvaro Justen

O documento apresenta uma introdução à lógica de programação em Python. Apresenta os objetivos da programação, características e aplicações da linguagem Python. Explica conceitos básicos de lógica de programação como algoritmos, instruções e estruturas de controle de fluxo. Demonstra exemplos práticos de códigos Python com variáveis, tipos de dados, operadores e repetição de comandos.

Datos Tabulares: La Manera PythónicaÁlvaro Justen

Charla hecha en el Meetup de Python Montevideo en 17 de agosto de 2016. Video disponible en: https://www.youtube.com/watch?v=4yHwSJCQL70 Versión interactiva (en HTML) dos slides: http://turicas.info/slides/rows/meetup-mvd/ Descripción: La información disponible en la Web es distribuida y no tiene un patrón específico. Quien necesita de estos datos usualmente necesita bajar, convertir y normalizar antes de hacer lo que realmente interesa: análisis. Muchos de estos datos se encuentran en formatos de tablas: CSV, HTML (con <table>), XLS, XLSX, ODS y otros. En esta charla será presentado el proyecto rows: una librería que unifica el acceso y conversión de datos tabulares, independiente del formato. La librería fue desarrollada por Álvaro y es software libre (GPLv3).

Arduino (para fazedores)Álvaro Justen

[PyBr11] Lendo dados tabulares: versão pythônicaÁlvaro Justen

Slides da lightning talk que ministrei na PythonBrasil[11] sobre a biblioteca rows, que facilita a leitura, escrita e manipulação de dados tabulares com Python, não importa o formato em que esse dado esteja (CSV, JSON, TXT, HTML, XLS, XLSX, SQLite etc.). Palestra apresentada no dia 10 de novembro de 2015. Contatos: - GitHub: https://github.com/turicas/rows - Twitter: https://twitter.com/turicas

Arduino: Robótica e Automação com Software e Hardware LivresÁlvaro Justen

Introdução ao Arduino: ArduinoDay Rio 2015Álvaro Justen

Dados Abertos e Meio AmbienteÁlvaro Justen

Arduino no Dia-Debian/RJ 2011Álvaro Justen

Sobre os ombos de gigantesÁlvaro Justen

Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisÁlvaro Justen

Dados abertos, Python e PostgreSQL: a combinação perfeitaÁlvaro Justen

A era da pós-verdade - minhas reflexões e crençasÁlvaro Justen

Realmente precisamos de big data?Álvaro Justen

Ciência de Dados na Linha de ComandoÁlvaro Justen

Brasil.IO: Libertação de Dados Públicos, com PythonÁlvaro Justen

#opendata #fail: Causos da Transparência BrasileiraÁlvaro Justen

Brasil.IO: Dados Abertos para Mais DemocraciaÁlvaro Justen

Dados abertos, direito autoral e democraciaÁlvaro Justen

Jornalismo de Dados: Programando a Democracia no BrasilÁlvaro Justen

Python no JornalismoÁlvaro Justen

Introdução a programação com Python (para jornalistas)Álvaro Justen

Datos Tabulares: La Manera PythónicaÁlvaro Justen

Arduino (para fazedores)Álvaro Justen

[PyBr11] Lendo dados tabulares: versão pythônicaÁlvaro Justen

Arduino: Robótica e Automação com Software e Hardware LivresÁlvaro Justen

Introdução ao Arduino: ArduinoDay Rio 2015Álvaro Justen

Dados Abertos e Meio AmbienteÁlvaro Justen

Arduino no Dia-Debian/RJ 2011Álvaro Justen