Edge computing na prática com IoT, Machine Learning e Google Cloud
1 gostou•587 visualizações
1) O documento discute edge computing na prática usando câmeras IoT, TensorFlow e Google Cloud. 2) É mostrado como construir um cenário usando câmeras ESP32 e Raspberry Pi para processar imagens localmente e enviar dados para a nuvem. 3) Os modelos pré-treinados do TensorFlow.js são usados para detecção e classificação de objetos nas imagens na borda antes de enviar para armazenamento em nuvem.
Edge computing na prática com IoT, Machine Learning e Google Cloud
- 1. EDGE COMPUTING NA PRÁTICA COM IOT, TENSORFLOW E GOOGLE CLOUD Alvaro Viebrantz Google Developer Expert for IoT and Product Engineer at Leverege aviebrantz.com @alvaroviebrantz
- 2. O que vamos ver hoje ? O que é Edge Computing ? Cenário Prático Como construir esse cenário!
- 3. 3
- 5. MAS O QUE É EDGE COMPUTING ?
- 6. QUANDO FAZ SENTIDO ?
- 7. Privacidade
- 9. Latencia
- 10. Confiabilidade
- 11. Custos
- 12. FALAR É FÁCIL VAMOS VER NA PRÁTICA
- 15. 15 Cameras como sensores Nosso projeto de Edge Computing • Usar cameras Wifi baratas • Servidor local recebendo e processando as imagens • Detecção de objetos usando Machine Learning • Enviar dados processados para nuvem • Prover uma interface web local e uma remota para mostrar os dados
- 17. HARDWARE
- 18. 18 ESP32 Cam Raspberry Pi 3 10$ 35$
- 19. PROVER IMAGENS NA REDE LOCAL
- 20. 20 Camera Firmware github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/esp32-camera-firmware • Conectar na rede Wifi • Prover uma interface HTTP para adquirir as images • Ler as imagens da camera local (OV2640)
- 21. 21 Descoberta de Cameras com mDNS Protocolo de Descoberta Local • Encontra as cameras locais automaticamente {INSTANCE_NAME}.local/jpg • Serviço _camera e protocolo _tcp
- 22. 22 Encontrando cameras locais Podemos testar localmente using a ferramenta dns-sd • http://indoor-camera-ec5d.local/jpg • http://indoor-camera-60d8.local/jpg
- 23. 23
- 24. GATEWAY NA REDE LOCAL
- 25. BAIXAR IMAGENS, CLASSIFICAR E ENVIAR PARA A NUVEM
- 26. 26 QUALQUER LINGUAGEM PODE SER USADA AQUI
- 27. 27
- 28. ATENÇÃO EU NÃO SOU NENHUM EXPERT EM MACHINE LEARNING
- 29. MAS TALVEZ ESSA SEJA A MELHOR PARTE DESSE PROJETO
- 30. tensorflow.org/js/models Modelos Pré Treinados em TensorFlow.js que podem ser usados sem muitas alterações
- 31. Classification Mobilenet model Object Detection CocoSSD model Cat, Dog, DuckCat Classification vs Object Detection
- 32. 32
- 33. 33 Arquitetura da Rede Local
- 35. DEMO - EDGE SERVER
- 36. 36
- 37. 37
- 38. 38 Meu Computador Raspberry Pi 3 TensorFlow.js Core 8 seconds per frame 45 seconds per frame TensorFlow.js Node 200 milliseconds per frame 1 second per frame Performance Dica - Use tfjs-node ou tfjs-node-gpu se possível
- 48. 48
- 51. 51
- 52. 52 firebase deploy 🔥 🔥 🔥
- 53. 53
- 54. 54
- 55. 55
- 56. Artigo descrevendo tudo que mostrei até agora bit.ly/gcloud-iot-edge
- 58. Eu amo gatos E se eu pudesse rastrear meus gatos em casa ?
- 59. Treinando um modelo customizado Primeira tentativa
- 60. Transfer Learning Usando modelos pré treinados para treinar novos modelos com datasets menores
- 61. Construindo o dataset Geralmente a parte mais dificil de qualquer projeto de ML
- 62. BAIXA ACURÁCIA NO MEU MODELO 😭😿
- 63. Treinar um modelo de classificação Usando o mesmo dataset
- 64. Train a classification model Using the same dataset
- 65. Melhor dos dois mundos Usar um modelo pré treinado para detecção de objetos primeiro e depois o modelo customizado Detect Objects using CocoSSD Filtrar gatos e cortar as imagens Classificar com modelo customizado
- 66. DEMO - CUSTOM MODEL
- 68. 68 Found a cat Found Jam
- 69. 69 Found a cat Found Berry
- 70. 70 Found two catsFound Jam Found Muffin Found Berry
- 71. TRABALHO FUTURO
- 72. Edge Devices Performance melhor na borda
- 73. Outros Edge Devices Performance melhor na borda Sipeed Maix Bit Sparkfun Edge
- 74. Identificação de Faces Identificar apenas pessoas autorizadas em um determinado local github.com/ageitgey/face_recognition
- 75. Estimação de Pose Modelo Pré Treinado - Posenet
- 76. RESUMINDO TUDO
- 77. Resumindo tudo 77 Usar o poder do dispositivo na borda Extrair mais informação usando Machine Learning Escalabilidade, Flexibilidade e Facilidade de Uso Usando o poder tanto local quanto em nuvem
- 78. OBRIGADO! AVIEBRANTZ.COM Alvaro Viebrantz Google Developer Expert for IoT and Product Engineer at Leverege aviebrantz.com @alvaroviebrantz