Introducción a Apache HBase

17 mar 20132 recomendaciones3,098 vistas

HBase es un sistema de almacenamiento de datos NoSQL de código abierto distribuido y basado en columnas inspirado en Bigtable de Google. Usa HDFS para el almacenamiento y se divide en regiones que se distribuyen entre servidores. Grandes empresas como Facebook, Salesforce y Explorys usan HBase para almacenar decenas de petabytes de datos y miles de millones de filas.

Introducción a HBase

Marcos Ortiz
mlortiz@uci.cu
@marcosluis2186
1

Qué es HBase?
Clon de Google BigTable:
http://labs.google.com/papers/bigtable.html

Creada originalmente en Powerset en 2007

SubProyecto de Apache Hadoop

3

Modelo de almacenamiento
basado en columnas
Es un sistema de almacenamiento orientado a
columnas semiestructurado

Distribuido sobre varios servidores

Tolerante a fallos de servidores

Usa HDFS como sus sistema de almacenamiento
4

Tablas y regiones
Las filas son almacenadas en un orden det tipo byte-
lexicográfico

Las tablas son dinámicamente divididas en ¨regiones¨

Cada región contiene los valores desde [startKey,
endKey]

Las regiones son hosteadas en un RegionServer 5

Almacenamiento
Piensen en un sistema de etiquetas. Los valores pueden
ser de cualquier dimensión, no hay nombres
predefinidos o tamaños

7

Familia de columnas
Las tablas estás compuestas por 1 o más Columns
Families (CF), que no son más que unidades para la
optimización del rendimiento

8

$Almacenamiento create 'crash_report_signatures', {NAME => 'counters', COMPRESSION => 'LZO', VERSIONS => '1', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}, {NAME => 'json', COMPRESSION => 'LZO', VERSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'} 10$

Quién usa HBase?

110 TB en HDFS
~ 40 TB en HBase
2300 crash p/min
> 120 servidores
físicos
12

Quién usa HBase?
+30 Billones de
eventos
de + 10 Millones
de usuarios
+ 10 años de datos
(clínicos, financieros,
operacionales)

13

Quién usa HBase?
OpenTSDB: sistema desarrollado para el
monitoreo de todos los servicios y
servidores en SU

~ 6 TB en HBase para las métricas

>100 TB en otro cluster de HBase para el
sistema de recomendación

Emplean a varios de los HBase commiters
14

Desarrollo futuro de HBase
* Apache Hadoop 2.0: HA NameNode, no más SPOF para
HBase
* Failover automático para HA Namenodes (HDFS-3042)
* Pistas para el copiado de bloques de forma específica
(HBASE-4755)
* Hard links para HDFS (HDFS-3370): Permitirá el clonado y
snapshots de tablas eficientemente

16

Contactos
Todd Lipcon (Cloudera)
Lars George (Cloudera)
Michael Stack (StumbleUpon)
Jean-Daniel Cryans (StumbleUpon)
Nicolas Spiegelberg (Facebook)
Jonathan Grey (Former VP of Data Engineering Team at
Facebook, Founder at Continuuity)
Andrew Purtell (Trend Micro)
Lars Hofhansl (Salesforce.com)
Doug Meil (CTO at Explorys) 17

Recursos
HBase at Explorys: How Big Data saved lives:
http://www.slideshare.net/cloudera/from-big-data-to-lives-saved-hbase-in-heathca

HBase and HDFS: Past, Present and Future por Todd Lipcon:
http://www.slideshare.net/cloudera/1-todd-lipcon-past-present-futurepdf

Powered by HBase's list:
http://wiki.apache.org/hadoop/Hbase/PoweredBy

19

Preguntas
Sugerencias
Comentarios
???
20

Recomendados

Taller de Base de Datos - Unidad 6 SQL proceduralJosé Antonio Sandoval Acosta

Este documento presenta información sobre procedimientos almacenados y disparadores (triggers) en SQL. Explica que los procedimientos almacenados son conjuntos de instrucciones SQL guardadas en la base de datos que pueden ser llamadas por aplicaciones, y que los triggers se ejecutan automáticamente cuando ocurren eventos de manipulación de datos como inserciones, actualizaciones o eliminaciones. También cubre la sintaxis para crear, ejecutar y modificar procedimientos almacenados y triggers, así como sus ventajas y desventajas.

Gestor de almacenamientoCarlos Mila

Procedimientos almacenadosthalia margarita serrano diaz

control de concurrenciaJose Guadalupe Couoh Dzul

El documento describe los problemas de concurrencia que surgen cuando múltiples transacciones acceden a una base de datos de forma concurrente, y los mecanismos utilizados para controlar la concurrencia, como bloqueos y estampas de tiempo. Explica que el objetivo del control de concurrencia es garantizar que las transacciones concurrentes produzcan resultados equivalentes a una ejecución secuencial, para evitar problemas como actualizaciones perdidas o análisis inconsistentes.

Dominio de base de datosWilmer Yacelga XD

Un dominio describe un conjunto de posibles valores para un atributo y restringe los valores que puede tomar ese atributo. Un ejemplo es el conjunto de nombres que pueden asignarse al atributo "NOMBRE" de una tabla. Cada tabla también puede tener una o más claves únicas que identifican de forma única cada registro a través de los valores en esos campos. Existen diferentes tipos de dominios como enteros, cadenas de texto y fechas.

Que Es Un Data Warehouseguest10616d

El documento proporciona una introducción al concepto de data warehouse. Explica que un data warehouse es un almacén de datos de fácil acceso alimentado por múltiples fuentes de datos transformadas para permitir nuevas consultas, análisis y la toma de decisiones. También describe los procesos básicos de extracción, transformación y carga de datos, así como los elementos clave de un sistema de data warehouse como las fuentes de datos, el área de tráfico de datos y el servidor de presentación.

Integridad en las bases de datosGuadalupe Robles Calderón

La integridad de datos en una base de datos se refiere a la corrección y completitud de la información almacenada y consiste en tres categorías: integridad de entidad, integridad de dominio e integridad referencial. La integridad de entidad define cada fila como única, la integridad de dominio restringe los tipos y valores de datos permitidos por columna, e integridad referencial mantiene la coherencia entre las tablas relacionadas.

Sql presentacionM. Angel Esteban

Este documento proporciona una introducción al lenguaje SQL. Explica que SQL se utiliza para definir, manipular y controlar el acceso a los datos almacenados en sistemas de gestión de bases de datos relacionales. Describe los componentes clave de SQL como las sentencias DDL, DML y DCL y sus usos para crear bases de datos, tablas, consultar, insertar y modificar datos, y controlar el acceso. También cubre conceptos como tipos de datos, cláusulas, operadores y funciones de SQL.

ADOJairo Quiroz Cabanillas

ADO.NET es un conjunto de clases en .NET Framework que proporciona acceso a datos relacionales, XML y de aplicaciones. Incluye proveedores de acceso a datos que permiten conectarse a bases de datos y ejecutar comandos. También incluye conjuntos de datos (DataSet) que almacenan datos en memoria y se usan para transferir datos entre fuentes de datos y aplicaciones. ADO.NET admite escenarios conectados y desconectados para el acceso a bases de datos.

Dataset y datatablefrank yordi tejada sanchez

Metodologías Para AnáLisis Y DiseñO Orientado A Objetoshector_h30

Diseño & Procesamiento de transaccionesBlanca Parra

Una transacción es una unidad lógica de procesamiento que consiste en una secuencia de operaciones que implican accesos a la base de datos. Para procesar transacciones en MySQL, se debe iniciar una transacción con BEGIN, realizar actualizaciones, e insertar o eliminar registros, y luego completar la transacción con COMMIT para hacer permanentes los cambios o ROLLBACK para descartarlos. Una transacción debe estar en uno de los siguientes estados: activa, parcialmente comprometida, fallida, abortada o comprometida.

BD. control de concurrencialiras loca

El documento describe los algoritmos de control de concurrencia que se utilizan para sincronizar la ejecución de transacciones concurrentes y mantener la consistencia de la base de datos distribuida. Estos algoritmos se clasifican en dos grupos: los basados en acceso mutuamente exclusivo a datos y los basados en protocolos de ordenamiento de transacciones. Dentro de estos grupos, existen enfoques pesimistas que sincronizan transacciones en sus etapas iniciales y enfoques optimistas que retrasan la sincronización hasta la terminación de las transacc

mongoDB - Arquitectura y Componentesomenar

MongoDB es una base de datos NoSQL orientada a documentos que almacena datos en formato BSON. Su arquitectura incluye mongod para el núcleo de la base de datos, mongos para el controlador de particionamiento, y herramientas como mongo para la interacción. MongoDB permite almacenamiento de documentos, indexación, replicación, particionamiento automático, y operaciones atómicas en documentos individuales.

Procedimientos Almacenados SQL SEVER.pptxCESARHERNANPATRICIOP1

Este documento habla sobre los procedimientos almacenados en SQL. Explica que un procedimiento almacenado es un conjunto de instrucciones SQL que se almacenan en la base de datos y pueden ejecutarse cuando sea necesario. También describe los diferentes tipos de procedimientos almacenados y las ventajas que ofrecen, como mayor seguridad, rendimiento mejorado y reutilización de código. Finalmente, presenta algunos ejemplos de cómo podrían usarse los procedimientos almacenados en una tienda para realizar consultas y procesos com

Ejemplo LOGIN conectado a una base de datosVane Borjas

Este documento proporciona instrucciones para crear un formulario de inicio de sesión en VB.NET que se conecta a una base de datos de Access. Explica cómo diseñar la interfaz del formulario para ocultar las contraseñas, declarar variables, abrir la conexión a la base de datos, verificar los usuarios y contraseñas ingresados contra la base de datos, y mostrar mensajes si los datos son correctos o incorrectos.

PROTOCOLO DE BLOQUEO EN 2 FASESGEOVANIFERNANDOMENDO

Unidad III procedimientosaaronastorga4

Este documento describe los conceptos de modularización en lenguajes de interfaz, incluyendo procedimientos, macros y la división de programas en subrutinas. Explica cómo declarar y llamar a procedimientos, así como el paso de parámetros y el uso de la pila. También cubre temas como marcos de pila, parámetros de registro vs parámetros de pila, y el paso de argumentos por valor vs referencia.

¿Qué SGBD (Sistema de Gestor de BD) y tecnologías utilizan: Facebook, Twitter...Frans Michel Barrenechea Arias

Los sistemas de gestión de bases de datos y tecnologías utilizadas por Facebook, Twitter, YouTube, Google y Uber incluyen: Facebook utiliza MySQL y Cassandra, Twitter utiliza MySQL y FlockDB, Google utiliza Bigtable, YouTube utiliza MySQL con sharding, y Uber también utiliza MySQL con sharding. Estas compañías también usan una variedad de otras tecnologías como Hive, Thrift, HipHop for PHP, Memcached, Lago, Zipkin, AJAX, KML, GO, Python, Linux, Psyco, Apache Thrift, Atlassian Jira y Appbot.

TransaccionAlberto Torres

El documento habla sobre las transacciones en bases de datos. Explica que una transacción es un conjunto de operaciones que forman una unidad lógica y deben cumplir con las propiedades ACID de atomicidad, consistencia, aislamiento y durabilidad. También describe los estados por los que pasa una transacción, como activa, comprometida o abortada, y las sentencias ROLLBACK y COMMIT para deshacer o confirmar una transacción respectivamente.

Bases de Datos No Relacionales (NoSQL): Cassandra, CouchDB, MongoDB y Neo4jDiego López-de-Ipiña González-de-Artaza

Este documento ofrece una introducción a las bases de datos NoSQL y Apache Cassandra. Explica que las bases de datos NoSQL difieren de las bases de datos relacionales tradicionales en que no requieren esquemas fijos, evitan operaciones JOIN y escalan horizontalmente. Luego describe las características clave de Cassandra, incluyendo su modelo de datos orientado a columnas y su capacidad de alta disponibilidad y tolerancia a fallos a través de la replicación distribuida de datos. Finalmente, contrasta el modelo de datos y consultas de Cassandra con las bases de datos rel

TRIGGERS O DISPARADORESLisbeth Ocaña Bueno

Transacciones y errores en mysqlAlberto Rodriguez Vargas

El documento habla sobre las transacciones y el manejo de errores en MySQL. Explica que las transacciones permiten realizar múltiples consultas de forma atómica para mantener la consistencia de los datos. Detalla los pasos para usar una transacción que incluyen iniciarla con BEGIN, realizar las consultas, y confirmar los cambios con COMMIT o deshacerlos con ROLLBACK si ocurre un error. También describe cómo declarar controladores de errores con DECLARE...HANDLER para controlar condiciones específicas y continuar, salir o deshacer cambios.

Introduccion Analisis AlgoritmosUV ADMINISTRACION (SISTEMAS)

Unidad 4 a HERENCIA, CLASES ABSTRACTAS, INTERFACES Y POLIMORFISMO . UMLCindy Adriana Bohórquez Santana

El documento describe los conceptos de UML (Unified Modeling Language) y diagramas de clases. UML es un lenguaje de modelado para sistemas orientados a objetos que permite construir, visualizar y documentar los elementos de un sistema de software. Los diagramas de clases son diagramas estáticos que describen la estructura de un sistema mediante la representación de sus clases, atributos y relaciones. Se explican los conceptos de herencia, composición, agregación, dependencia e interfaces en UML. Finalmente, se incluyen ejemplos de diagramas de clases.

RAIDluisfranespinoza

Bd nosql clave valorEscuela de Computación UCV

Este documento presenta una introducción al modelo de datos clave-valor. Explica que este modelo asocia claves con valores de forma eficiente, permitiendo el acceso rápido a los elementos almacenados mediante una clave. También describe algunas técnicas comunes como el hashing consistente para la distribución de datos en sistemas distribuidos, y presenta Redis como un caso de estudio, explicando sus operaciones, arquitectura, replicación y usos comunes.

Ejercicios sqlVictor Morales

Apache hadoop hbasesheetal sharma

Hbase: Introduction to column oriented databasesLuis Cipriani

Más contenido relacionado

La actualidad más candente (20)

ADOJairo Quiroz Cabanillas

Dataset y datatablefrank yordi tejada sanchez

Metodologías Para AnáLisis Y DiseñO Orientado A Objetoshector_h30

Diseño & Procesamiento de transaccionesBlanca Parra

BD. control de concurrencialiras loca

mongoDB - Arquitectura y Componentesomenar

Procedimientos Almacenados SQL SEVER.pptxCESARHERNANPATRICIOP1

Ejemplo LOGIN conectado a una base de datosVane Borjas

PROTOCOLO DE BLOQUEO EN 2 FASESGEOVANIFERNANDOMENDO

Unidad III procedimientosaaronastorga4

¿Qué SGBD (Sistema de Gestor de BD) y tecnologías utilizan: Facebook, Twitter...Frans Michel Barrenechea Arias

TransaccionAlberto Torres

Bases de Datos No Relacionales (NoSQL): Cassandra, CouchDB, MongoDB y Neo4jDiego López-de-Ipiña González-de-Artaza

TRIGGERS O DISPARADORESLisbeth Ocaña Bueno

Transacciones y errores en mysqlAlberto Rodriguez Vargas

Introduccion Analisis AlgoritmosUV ADMINISTRACION (SISTEMAS)

Unidad 4 a HERENCIA, CLASES ABSTRACTAS, INTERFACES Y POLIMORFISMO . UMLCindy Adriana Bohórquez Santana

RAIDluisfranespinoza

Bd nosql clave valorEscuela de Computación UCV

Ejercicios sqlVictor Morales

ADOJairo Quiroz Cabanillas

Dataset y datatablefrank yordi tejada sanchez

Metodologías Para AnáLisis Y DiseñO Orientado A Objetoshector_h30

Diseño & Procesamiento de transaccionesBlanca Parra

BD. control de concurrencialiras loca

mongoDB - Arquitectura y Componentesomenar

Procedimientos Almacenados SQL SEVER.pptxCESARHERNANPATRICIOP1

Ejemplo LOGIN conectado a una base de datosVane Borjas

PROTOCOLO DE BLOQUEO EN 2 FASESGEOVANIFERNANDOMENDO

Unidad III procedimientosaaronastorga4

¿Qué SGBD (Sistema de Gestor de BD) y tecnologías utilizan: Facebook, Twitter...Frans Michel Barrenechea Arias

TransaccionAlberto Torres

Bases de Datos No Relacionales (NoSQL): Cassandra, CouchDB, MongoDB y Neo4jDiego López-de-Ipiña González-de-Artaza

TRIGGERS O DISPARADORESLisbeth Ocaña Bueno

Transacciones y errores en mysqlAlberto Rodriguez Vargas

Introduccion Analisis AlgoritmosUV ADMINISTRACION (SISTEMAS)

Unidad 4 a HERENCIA, CLASES ABSTRACTAS, INTERFACES Y POLIMORFISMO . UMLCindy Adriana Bohórquez Santana

RAIDluisfranespinoza

Bd nosql clave valorEscuela de Computación UCV

Ejercicios sqlVictor Morales

Destacado (20)

Apache hadoop hbasesheetal sharma

Hbase: Introduction to column oriented databasesLuis Cipriani

The Evolution of a Relational Database Layer over HBaseDataWorks Summit

Apache Phoenix is a SQL query layer over Apache HBase that allows users to interact with HBase through JDBC and SQL. It transforms SQL queries into native HBase API calls for efficient parallel execution on the cluster. Phoenix provides metadata storage, SQL support, and a JDBC driver. It is now a top-level Apache project after originally being developed at Salesforce. The speaker discussed Phoenix's capabilities like joins and subqueries, new features like HBase 1.0 support and functional indexes, and future plans like improved optimization through Calcite and transaction support.

HBaseCon 2012 | HBase Schema Design - Ian Varley, SalesforceCloudera, Inc.

Most developers are familiar with the topic of “database design”. In the relational world, normalization is the name of the game. How do things change when you’re working with a scalable, distributed, non-SQL database like HBase? This talk will cover the basics of HBase schema design at a high level and give several common patterns and examples of real-world schemas to solve interesting problems. The storage and data access architecture of HBase (row keys, column families, etc.) will be explained, along with the pros and cons of different schema decisions.

HBaseCon 2013: Multi-tenant Apache HBase at Yahoo! Sumeet Singh

Yahoo! has been using HBase for a long time in isolated instances, most notably for the personalization platform powering its homepage experiences. The introduction of multi-tenancy has lowered the barriers for all Hadoop users to use HBase. We will cover traditional use cases for HBase at Yahoo!, and new use cases as a result in content management, advertising, log processing, analytics and reporting, recommendation graphs, and dimension data stores. We will then talk about the deployment strategy and enhancements made that facilitate multi-tenancy. Region Server groups provide a coarse level of isolation among tenants by designating a subset of region servers to serve designated tables, and Namespaces for logical grouping of resources (region servers, tables) and privileges (quota, ACLs). We'll also share our experiences in operating HBase with security enabled and contributions made in this area, and results from performance runs conducted to validate customer expectations in a multi-tenant environment. URL: http://www.cloudera.com/content/cloudera/en/resources/library/hbasecon/hbasecon-2013--multi-tenant-apache-hbase-at-yahoo-video.html

Hadoop, Cloud y Spring Miguel Pastor

Spark-on-Yarn: The Road Ahead-(Marcelo Vanzin, Cloudera)Spark Summit

Spark on YARN provides resource management and security features through YARN, but still has areas for improvement. Dynamic allocation in YARN allows Spark applications to grow and shrink executors based on task demand, though latency and data locality could be enhanced. Security supports Kerberos authentication and delegation tokens, but long-lived applications face token expiration issues and encryption needs improvement for control plane, shuffle files, and user interfaces. Overall, usability, security, and performance remain areas of focus.

Conferencia MySQL, NoSQL & Cloud: Construyendo una infraestructura de big dat...Socialmetrix

Juan Martín Pampliega presenta sobre la construcción de una infraestructura de Big Data escalable y rentable. Explica que evolucionaron su arquitectura para manejar un volumen creciente de datos, reducir tiempos de procesamiento, y mitigar errores. Adoptaron conceptos como la arquitectura Lambda y sistemas distribuidos. Implementaron Kafka, Spark y Cassandra para lograr procesamiento distribuido, robusto y escalable. Aprendieron que es importante probar los sistemas y monitorearlos, y que herramientas no deben usarse

Row or Columnar DatabaseBiju Nair

There are two main types of relational database management systems (RDBMS): row-based and columnar. Row-based systems store all of a row's data contiguously on disk, while columnar systems store each column's data together across all rows. Columnar databases are generally better for read-heavy workloads like data warehousing that involve aggregating or retrieving subsets of columns, whereas row-based databases are better for transactional systems that require updating or retrieving full rows frequently. The optimal choice depends on the specific access patterns and usage of the data.

SAS for Claims Fraudstuartdrose

Recognized as the industry leader in analytics and with more than 36 years of experi¬ence, SAS provides a framework of capabilities to help insurers significantly improve their fraud management processes. With SAS, you get: • A hybrid approach to fraud detection, including link analysis • Streamlined case management. Systematically facilitate investigations, and cap¬ture and display all pertinent information without corrupting the system with duplicate data entry. • Advanced text analytics and data mining.

Big Data en el entorno BancarioMartín Cabrera

En el último año, Big Data se ha transformado en uno de los pilares más importantes de la estrategia de negocio de los Bancos de Chile y el mundo. En un entorno cada vez más competitivo y con altos niveles de regulación, las organizaciones deben comenzar a tomar decisiones en función de los datos y no de la intuición. Para tomar dichas decisiones, se vuelve necesario procesar grandes volúmenes de información de manera eficiente, incorporando nuevas fuentes de datos y automatizando las decisiones a través de algoritmos analíticos avanzados. Durante esta presentación, analizaremos qué deben hacer los Bancos para transformar su arquitectura de datos tradicional, en una arquitectura de datos moderna con soporte para big data y así estar preparados para abordar los nuevos desafíos que plantea la transformación digital del negocio financiero.

Hadoop World 2011: Advanced HBase Schema DesignCloudera, Inc.

While running a simple key/value based solution on HBase usually requires an equally simple schema, it is less trivial to operate a different application that has to insert thousands of records per second. This talk will address the architectural challenges when designing for either read or write performance imposed by HBase. It will include examples of real world use-cases and how they can be implemented on top of HBase, using schemas that optimize for the given access patterns.

Proyectos everisEsther Lanza

Esther Lanza Fernández ha trabajado como analista de sistemas y programadora para varios clientes como Éveris, Telefónica Móviles España, Vodafone y Retecal y Telecable desde 2001. Sus principales responsabilidades han incluido el desarrollo, mantenimiento y soporte de aplicaciones CRM y de atención al cliente implementadas con tecnologías como Java, Visual Age for Java, Clear Basic y Clarify. También ha participado en proyectos de formación, migración, implantación y mejora de sistemas.

SAS and Cloudera – Analytics at ScaleCloudera, Inc.

Apache HBase 1.0 ReleaseNick Dimiduk

Near-realtime analytics with Kafka and HBasedave_revell

Meet Latin American Game DevelopersAlvaro Gonzalez

English: This presentation corresponds to the lecture given by Alvaro Gonzalez on the 6/6/2012 within the event organized by the Virtual Simulations and Videogames Career of the University College of IES, Córdoba - Argentina. Español: Esta presentación corresponde a la conferencia otorgada por Alvaro Gonzalez el día 6/Junio/2012 en el marco del evento de Videojuegos organizado por la Carrera de Simulaciones Virtuales y Videojuegos del Colegio Universitario IES, Córdoba – Argentina.

SAS Modernization architectures - Big Data AnalyticsDeepak Ramanathan

The document discusses strategies and technologies for scalable analytics using modern data architectures like Hadoop. It describes how declining storage costs and increasing CPU speeds have enabled organizations to leverage huge amounts of data through platforms like Hadoop. The document also summarizes SAS's big data strategy, how its technologies integrate with Hadoop, and how organizations can use SAS solutions to extract insights from data through the entire analytics lifecycle including data preparation, modeling, visualization and more.

Past present and future of Recommender Systems: an Industry PerspectiveXavier Amatriain

The document summarizes the past, present, and future of recommender systems from an industry perspective. [1] In the past, Netflix popularized recommender systems with their 2006 Netflix Prize competition. [2] Currently, recommender systems are used widely across many applications and industries. They have evolved to use implicit feedback and contextual information beyond just explicit ratings. Ranking items is also central to recommender systems. [3] Future directions include addressing indirect feedback challenges, incorporating the value or reward of recommendations, optimizing full pages rather than just individual recommendations, and personalizing not just what is recommended but how it is recommended to users.

Almacenamiento en la Nube y Cloud ComputingAlfredo Vela Zancada

Este documento presenta información sobre almacenamiento en la nube y computación en la nube. Explica conceptos clave como almacenamiento en la nube, tipos de nubes, capas de la nube, y sistemas populares de almacenamiento en la nube como Dropbox, OneDrive y Google Drive. También describe las ventajas e inconvenientes del almacenamiento en la nube y cómo crear y usar una cuenta gratuita de Dropbox.

Apache hadoop hbasesheetal sharma

Hbase: Introduction to column oriented databasesLuis Cipriani

The Evolution of a Relational Database Layer over HBaseDataWorks Summit

HBaseCon 2012 | HBase Schema Design - Ian Varley, SalesforceCloudera, Inc.

HBaseCon 2013: Multi-tenant Apache HBase at Yahoo! Sumeet Singh

Hadoop, Cloud y Spring Miguel Pastor

Spark-on-Yarn: The Road Ahead-(Marcelo Vanzin, Cloudera)Spark Summit

Conferencia MySQL, NoSQL & Cloud: Construyendo una infraestructura de big dat...Socialmetrix

Row or Columnar DatabaseBiju Nair

SAS for Claims Fraudstuartdrose

Big Data en el entorno BancarioMartín Cabrera

Hadoop World 2011: Advanced HBase Schema DesignCloudera, Inc.

Proyectos everisEsther Lanza

SAS and Cloudera – Analytics at ScaleCloudera, Inc.

Apache HBase 1.0 ReleaseNick Dimiduk

Near-realtime analytics with Kafka and HBasedave_revell

Meet Latin American Game DevelopersAlvaro Gonzalez

SAS Modernization architectures - Big Data AnalyticsDeepak Ramanathan

Past present and future of Recommender Systems: an Industry PerspectiveXavier Amatriain

Almacenamiento en la Nube y Cloud ComputingAlfredo Vela Zancada

Similar a Introducción a Apache HBase (20)

Webinar de Introducción a Hive y ZeppelinFederico Leven

PolybaseSolidQ

Este documento presenta Polybase en SQL Server 2016. Polybase permite consultar y combinar datos estructurados y no estructurados almacenados en SQL Server y Hadoop. Se describen los escenarios de uso como combinar datos de diferentes orígenes, permitir que científicos de datos lean grandes volúmenes de datos, y almacenar datos de forma barata. Finalmente, se explican los pasos para instalar y configurar Polybase, como habilitarlo, enlazarlo con un clúster Hadoop y crear tablas externas.

Base de datos no sqlhnacostan

El documento describe las bases de datos NoSQL como una alternativa a las bases de datos relacionales tradicionales para almacenar y recuperar grandes volúmenes de datos. Explica que las bases de datos NoSQL ofrecen mayor flexibilidad en los esquemas de datos y mejor escalabilidad horizontal. Además, identifica cuatro tipos principales de bases de datos NoSQL: clave-valor, documentales, de grafos y orientadas a objetos.

Motores de bases de datos open sourceeduardojose55

El documento describe 35 motores de bases de datos de código abierto alternativos a las opciones más populares como MySQL, PostgreSQL, MSSQL y SQLite. Estos incluyen bases de datos NoSQL orientadas a documentos como MongoDB y CouchDB, bases de datos de grafos como Neo4j, almacenes clave-valor como Memcached y Redis, y bases de datos columnares distribuidas como HBase. El documento proporciona una breve descripción de cada motor de bases de datos alternativo.

HDFS.pdfMaraBelnVillanuevaMo

El documento describe la arquitectura de HDFS y sus características de almacenamiento escalable. HDFS divide los archivos en bloques que se almacenan y replican en múltiples nodos, y mantiene metadatos sobre la ubicación de los bloques. El NameNode gestiona los metadatos y los DataNodes almacenan los bloques. HDFS también soporta federación de NameNodes y alta disponibilidad con configuración activo-pasivo para los NameNodes.

Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...Joseph Lopez

Monta una Infraestructura Big Data para tu Empresa - Sesión IUrko Zurutuza

Este documento presenta un taller de 3 días sobre cómo implementar una infraestructura Big Data para una empresa. El primer día se introduce el concepto de Big Data. El segundo día se instala un cluster Cloudera. El tercer día se realizan ejercicios prácticos sobre el cluster Cloudera. El documento también cubre temas como el ecosistema Big Data, herramientas como Hadoop, HDFS, HBase y sistemas de procesamiento como MapReduce, Pig y Storm.

3. HadoopCristian González García

Big Data, Almacenes de Datos Empresariales (EDW) y Windows Azure (SQL Databas...Joseph Lopez

Introducción a polybase en SQL ServerEduardo Castro

El mundo Big Data y las APIsBig Data Spain

An evening with... Apache hadoop MeetupArkhotech

Big Data es un concepto que hace referencia a un gran conjunto datos complejos, de formato heterogéneos y que donde las aplicaciones y mecanismos tradicionales de procesamiento no resultan ser los más adecuados para procesarlos. Los desafíos dentro del Big Data incluyen el análisis, la captura, la transformación de datos, búsqueda, intercambio, almacenamiento, transferencia, visualización y privacidad de la información. Inmerso en este nuevo ecosistema de datos de gran tamaño y sin formato, se encuentra Apache Hadoop, un framework de Software desarrollado en un principio por Yahoo, y que ha sido y está siendo el standard de la industria para el procesamiento masivo de datos dentro de un cluster de computadores. En el presente meetup realizamos una breve descripción de la arquitectura de este framwork y cómo Hadoop puede integrarse con otras diferentes soluciones empresariales. A su vez revisamos como grandes empresas tecnológicas han visto y apostado por Apache Hadoop como una herramienta para construcción de soluciones y procesamiento de datos en entornos de Big Data.

Bases de datos Millercris Alamo

Este documento presenta información sobre bases de datos. Explica que una base de datos es un conjunto de datos organizados para un uso determinado y que puede ser gestionado por un sistema gestor de bases de datos. Describe los tipos de bases de datos SQL y NoSQL, e identifica algunas de las bases de datos más populares como SQL Server, Oracle, MongoDB, Oracle NoSQL y Cassandra, detallando brevemente sus características.

Big data y las apis (big data spain)CloudAppi

Clase HadoopJorgeAntonioCabreraG2

Bases de datos saul alva

Este documento proporciona información sobre diferentes tipos de bases de datos, incluyendo SQL, NoSQL y algunas de las más populares. Explica que una base de datos es una colección de datos organizados que pueden ser accedidos rápidamente, y que las bases de datos SQL usan el lenguaje SQL mientras que las NoSQL no lo usan y son útiles para grandes volúmenes de datos. También lista algunas de las bases de datos más populares como Oracle, MySQL, MongoDB, entre otras.

Codigoparacrearlabasededatos Ashley Stronghold Witwicky

El documento describe cómo crear y administrar una base de datos en MySQL usando lenguaje SQL. Inicialmente se crea una base de datos llamada "estudianteBD", luego una tabla dentro de ella para almacenar datos de estudiantes. Se pueden agregar, modificar y eliminar campos de la tabla, así como insertar, actualizar y eliminar datos individuales. Finalmente, se mencionan herramientas como phpMyAdmin que facilitan la administración de bases de datos a través de una interfaz web.

Codigo para crear la base de datosAlvaro Cardona

El documento describe cómo crear y administrar una base de datos y tablas en MySQL usando lenguaje SQL. Inicialmente se crea una base de datos llamada "estudianteBD", luego se crea una tabla dentro de ella y se agregan campos. También se describen cómo insertar, actualizar y eliminar datos, así como eliminar la base de datos. Finalmente, se explica phpMyAdmin como una herramienta para administrar bases de datos MySQL a través de una interfaz web.

guia-2.pdfAntonioHurtado37

No sql la nueva eraJuan Navas

Este documento habla sobre NoSQL y Apache Cassandra. Brevemente describe las características clave de NoSQL como su capacidad para grandes volúmenes de datos, escalabilidad horizontal y flexibilidad. Luego procede a explicar algunas características fundamentales de Apache Cassandra como su arquitectura distribuida tolerante a fallos, replicación asíncrona y soporte para múltiples centros de datos. Finalmente, brinda instrucciones básicas sobre cómo instalar Apache Cassandra.

Webinar de Introducción a Hive y ZeppelinFederico Leven

PolybaseSolidQ

Base de datos no sqlhnacostan

Motores de bases de datos open sourceeduardojose55

HDFS.pdfMaraBelnVillanuevaMo

Big Data, Almacenes de datos empresariales (EDW) y Windows Azure (SQL Databas...Joseph Lopez

Monta una Infraestructura Big Data para tu Empresa - Sesión IUrko Zurutuza

3. HadoopCristian González García

Big Data, Almacenes de Datos Empresariales (EDW) y Windows Azure (SQL Databas...Joseph Lopez

Introducción a polybase en SQL ServerEduardo Castro

El mundo Big Data y las APIsBig Data Spain

An evening with... Apache hadoop MeetupArkhotech

Bases de datos Millercris Alamo

Big data y las apis (big data spain)CloudAppi

Clase HadoopJorgeAntonioCabreraG2

Bases de datos saul alva

Codigoparacrearlabasededatos Ashley Stronghold Witwicky

Codigo para crear la base de datosAlvaro Cardona

guia-2.pdfAntonioHurtado37

No sql la nueva eraJuan Navas

Más de Marcos Ortiz Valmaseda (9)

SEC: Actualización de la definición de "Inversor Acreditado" en el 2019Marcos Ortiz Valmaseda

A Partnership with Adyen is Equal to Exponential Growth: 17 Payments Experts ...Marcos Ortiz Valmaseda

7 Ideas to Revamp Product Marketing at Duo SecurityMarcos Ortiz Valmaseda

200 Global Facts about the State of Small Businesses in 2015Marcos Ortiz Valmaseda

This report highlights the state of small businesses around the globe, covering countries like United States, India, Malaysia, Singapore, Australia, Germany, New Zealand, South Africa, Brazil, Colombia, Netherlands and many more. It could give a global perspective of the importance of Small and Medium Enterprises for the world economy, and good examples like Singapore and Dubai, UAE have created a well-defined ecosystem to support this economic group.

50+ facts about State of CyberSecurity in 2015Marcos Ortiz Valmaseda

The future of marketingMarcos Ortiz Valmaseda

Research group in databases technologiesMarcos Ortiz Valmaseda

Postgre Sql Para Las Empresas CubanasMarcos Ortiz Valmaseda

Este documento propone el uso más amplio de PostgreSQL en lugar de sistemas de gestión de bases de datos propietarios en empresas cubanas para reducir costos. Describe las características y ventajas de PostgreSQL y presenta varios subproyectos enfocados en el desarrollo de herramientas de administración, migración, seguridad, alta disponibilidad y soluciones de business intelligence basadas en PostgreSQL.

Estado del Desarrollo de PostgreSQL-9.0Marcos Ortiz Valmaseda

Este documento resume las características y mejoras clave de PostgreSQL 9.0. Algunas de las principales características incluyen replicación síncrona, exclusiones de restricciones, mejoras en el rendimiento como la eliminación de JOINs innecesarios, y mejoras en los lenguajes procedurales como PL/Python y PL/Perl. La versión 9.0 también trae nuevas funcionalidades como bloques de código anónimos y triggers condicionales. El lanzamiento final de PostgreSQL 9.0 está programado para junio-julio de 2010.

SEC: Actualización de la definición de "Inversor Acreditado" en el 2019Marcos Ortiz Valmaseda

A Partnership with Adyen is Equal to Exponential Growth: 17 Payments Experts ...Marcos Ortiz Valmaseda

7 Ideas to Revamp Product Marketing at Duo SecurityMarcos Ortiz Valmaseda

200 Global Facts about the State of Small Businesses in 2015Marcos Ortiz Valmaseda

50+ facts about State of CyberSecurity in 2015Marcos Ortiz Valmaseda

The future of marketingMarcos Ortiz Valmaseda

Research group in databases technologiesMarcos Ortiz Valmaseda

Postgre Sql Para Las Empresas CubanasMarcos Ortiz Valmaseda

Estado del Desarrollo de PostgreSQL-9.0Marcos Ortiz Valmaseda

Introducción a Apache HBase

1. Introducción a HBase Marcos Ortiz [email protected] @marcosluis2186 1

2. El auge del NoSQL 2

3. Qué es HBase? Clon de Google BigTable: http://labs.google.com/papers/bigtable.html Creada originalmente en Powerset en 2007 SubProyecto de Apache Hadoop 3

4. Modelo de almacenamiento basado en columnas Es un sistema de almacenamiento orientado a columnas semiestructurado Distribuido sobre varios servidores Tolerante a fallos de servidores Usa HDFS como sus sistema de almacenamiento 4

5. Tablas y regiones Las filas son almacenadas en un orden det tipo byte- lexicográfico Las tablas son dinámicamente divididas en ¨regiones¨ Cada región contiene los valores desde [startKey, endKey] Las regiones son hosteadas en un RegionServer 5

6. Tablas y regiones 6

7. Almacenamiento Piensen en un sistema de etiquetas. Los valores pueden ser de cualquier dimensión, no hay nombres predefinidos o tamaños 7

8. Familia de columnas Las tablas estás compuestas por 1 o más Columns Families (CF), que no son más que unidades para la optimización del rendimiento 8

9. 9

10. Almacenamiento create 'crash_report_signatures', {NAME => 'counters', COMPRESSION => 'LZO', VERSIONS => '1', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}, {NAME => 'json', COMPRESSION => 'LZO', VERSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'} 10

11. Quién usa HBase? 11

12. Quién usa HBase? 110 TB en HDFS ~ 40 TB en HBase 2300 crash p/min > 120 servidores físicos 12

13. Quién usa HBase? +30 Billones de eventos de + 10 Millones de usuarios + 10 años de datos (clínicos, financieros, operacionales) 13

14. Quién usa HBase? OpenTSDB: sistema desarrollado para el monitoreo de todos los servicios y servidores en SU ~ 6 TB en HBase para las métricas >100 TB en otro cluster de HBase para el sistema de recomendación Emplean a varios de los HBase commiters 14

15. Quién usa HBase? 15

16. Desarrollo futuro de HBase * Apache Hadoop 2.0: HA NameNode, no más SPOF para HBase * Failover automático para HA Namenodes (HDFS-3042) * Pistas para el copiado de bloques de forma específica (HBASE-4755) * Hard links para HDFS (HDFS-3370): Permitirá el clonado y snapshots de tablas eficientemente 16

17. Contactos Todd Lipcon (Cloudera) Lars George (Cloudera) Michael Stack (StumbleUpon) Jean-Daniel Cryans (StumbleUpon) Nicolas Spiegelberg (Facebook) Jonathan Grey (Former VP of Data Engineering Team at Facebook, Founder at Continuuity) Andrew Purtell (Trend Micro) Lars Hofhansl (Salesforce.com) Doug Meil (CTO at Explorys) 17

18. Recursos 18

19. Recursos HBase at Explorys: How Big Data saved lives: http://www.slideshare.net/cloudera/from-big-data-to-lives-saved-hbase-in-heathca HBase and HDFS: Past, Present and Future por Todd Lipcon: http://www.slideshare.net/cloudera/1-todd-lipcon-past-present-futurepdf Powered by HBase's list: http://wiki.apache.org/hadoop/Hbase/PoweredBy 19

20. Preguntas Sugerencias Comentarios ??? 20

Introducción a Apache HBase

Recomendados

Más contenido relacionado

La actualidad más candente (20)

Destacado (20)

Similar a Introducción a Apache HBase (20)

Más de Marcos Ortiz Valmaseda (9)

Último (20)

Introducción a Apache HBase