Big Data en Google: “data pipeline” o tubería de datos

Servicios de Google Cloud para Big Data

Desde la escritura cuneiforme, el más antiguo sistema de escritura conocido hasta la fecha, hasta los centros de datos modernos, la raza humana siempre ha recopilado información.

Se estima que en 2020, nuestra civilización habrá generado 40 zettabytes de información, lo que equivale a 57 veces el número de granos de arena presentes en todas las playas del mundo.

Nota: Según el registro de restos arqueológicos, el cuneiforme es un sistema de escritura desarrollado por primera vez por los antiguos Sumerios de Mesopotamia c. 3500-3000 AEC.

Con ese ímpetu, Google presentó en 2004, el otro componente básico que hoy en día aún forma parte de las plataformas Big Data: un nuevo paradigma en procesamiento distribuido al que llamó Map & Reduce.

Más tarde se revela el Cloud Bigtable que es el servicio de base de datos de Big Data NoSQL de Google, al que muchos consideran el precursor de los almacenes de datos NoSQL tipo Cassandra, HBase… otras de las piezas destacadas que conforman el universo Big Data.

Google ha seguido enriqueciendo el panorama Big Data con nuevas invenciones, pero si importante fue Google, tanto o más fueron los ingenieros de Apache Doug Cutting y Mike Cafarella que alrededor de 2006 llevaron los paradigmas de Google a la culminación de la primera plataforma Big Data Open Source a la que llamaron Hadoop y que hoy en día sigue siendo la base de la mayor parte de sistemas Big Data y sobre la que ha crecido un enorme ecosistema de herramientas que lo utilizan como su base.

Google Cloud ofrece muchos servicios diferentes para cubrir las necesidades de procesamiento de datos y aplicaciones Big Data.

Referencias

El origen del Big Data (campusbigdata.com)

Servicios de Google Cloud para Big Data - Blog de Hiberus Tecnología

Aplicaciones big data con Google Cloud Platform (enzymeadvisinggroup.com)

¿Cómo se hace Big Data en Google? - YouTube

Comentarios

Entradas más populares de este blog

Estadística, Ciencia de Datos, Big Data y Datos Abiertos

Grandes volúmenes de datos Referencias 1. Estadística 2 Big Data 3 ¿Cuál es la relación entre el Big Data y la Estadística? (universia.net) 4 ¿Cuáles son las diferencias entre Big Data y Data Science? - PiperLab 5 Están invitadxs — Open Data Day 6 La estadística como fuente clave de los datos abiertos | datos.gob.es

Proyectos de Ciencia de Datos

Alumnos de la Experiencia Educativa: Big Data Estos proyectos han sido desarrollados por estudiantes de la Licenciatura en Estadística. Esperamos que sirvan a otros estudiantes apasionados de los números. https://www.freepik.es/ Proyecto 1. Conjunto de Datos de Rendimiento del Estudiante Inicio | Estadística y Big Data (wixsite.com) Autores: Scarleht Sánchez y Elizabeth Cruz Proyecto 2. Diabetes en Mujeres Indígenas PIMA Blog | Diego Y Gabriela Big Data (wixsite.com) Autores: Diego y Gabriela Proyecto 3. Adultos Inicio | Big Data (wixsite.com) Autores: Paloma Proyecto 4. Análisis casos de Varicela Húngara Inicio | DATA CLUB (wixsite.com) Análisis casos de varicela Húngara (godaddysites.com) Autores: Monserrat Proyecto 5. Análisis en la base de datos de Iris BIG DATA DJ Autores: Proyecto 6. Calidad de Vino Tinto y Vino Blanco Calidad de vino tinto y vino blanco (data-scienceb.blogspot.com) Autores: Proyecto 7. Complicaciones del infarto agudo de Miocardio Miocardio | My Site (wixsite.c

Excel Cloud - Excel para la web - Excel en la nube

Descripción Aplicación basada en explorador que se puede usar para ver y editar Hojas de Excel en el explorador Pasos: 1 Inicia sesión en Drive . Si no tienes cuenta de Gmail entonces crear una cuenta de correo en Gmail 2 Ir a las aplicaciones de Google y elegir Hojas de cálculo 3 Elegir una hoja de cálculo nueva dando clic en el signo + 4 En esta nueva hoja editable se puede copiar e importar datos. Seleccionar los datos y elegir Insertar / Gráfico , de esta forma se obtendrá un gráfico de barras. Seleccionar gráfico y en Tipo de Gráfico elegir Mapa . 5 En la opción Personalizar es posible elegir mapa regional . Referencias Trabajar con datos de hojas de cálculo en OneDrive - Excel (microsoft.com)

Google Trends

Tendencias de búsquedas de Google Tendencias de Google Actividad: 1. Elegir palabras clave 2. Generar base de datos 3. Descargar base de datos 4. Limpiar datos 5. Hacer visualizaciones

Metodología de John Rollins para estudios en Ciencia de Datos

La metodología de John Rollins con adecuaciones para estudios en el área de ciencia de datos, la cual consiste de 11 etapas que advierten tecnologías y enfoques Etapa 1: Comprensión del proyecto. Definir el problema, el planteamiento de los objetivos y la posible solución. Etapa 2. Enfoque Analítico. Aplicar técnicas estadísticas y aprendizaje automático. Construir, experimentar e implementar un modelo de clasificación o de predicción según sea el caso. Etapa 3. Requerimientos de Datos. Determinar los requerimientos de datos como contenidos de datos, formatos y representaciones, guiados por el conocimiento del contexto o negocio. Etapa 4. Recolección de Datos. Identificar y reunir los datos disponibles, estructurados, no estructurados y semiestructurados. Etapa 5. Comprensión de Datos. Utilizar estadísticas descriptivas y técnicas de visualización. Etapa 6. Preparación de Datos. Limpiar los datos, combinar datos de archivos y plataformas, y crear predictores para la con

El Big Data en los Recursos y Derechos Humanos

El Big Data en los Recursos y Derechos Humanos Big Data se refiere a la gestión de grandes cantidades de datos de forma que puedan ser tratados y analizados para la extracción de información relevante para generar informes y predicciones. El Big Data aporta una serie de utilidades para los profesionales de los recursos humanos. Gracias a una gestión adecuada de los datos, es posible recopilar toda la información que manejan de forma correcta y organizada. Pero, ¿Qué ventajas ofrece? Los individuos alrededor del mundo pueden ver vulnerados sus derechos humanos a través del manejo indiscriminado de la herramienta big data , ya que la información que se genera día a día y segundo a segundo por medio de los dispositivos tecnológicos -como los teléfonos inteligentes- abarca desde los hábitos de consumo de las personas hasta aspectos de su vida privada, como pueden ser sus creencias religiosas o sus datos biométricos. Así, la vulneración de derechos humanos se puede dar desde la manera en qu

Día de los Datos Abiertos

Facultad de Estadística e Informática Licenciatura en Estadística Referencias Están invitadxs — Open Data Day - Día de los Datos Abiertos Open Government Data and Services (un.org) - Naciones Unidas Plataformas de Datos Abiertos Barómetro de Datos Abiertos - Open Data Barometer Eventos en el mundo Open Data Day 2021 - YouTube - Open Data Day 2021 #OpenDataDay2021 Datos abiertos y la toma de decisiones en tiempos de pandemia #ODD2021 - YouTube - Organización de los Datos Americanos (OEA) Herramientas de planificación datos abiertos - YouTube Datos Abiertos - Uso y Aprovechamiento de Datos Abiertos - YouTube - Colombia Taller del nuevo portal de datos abiertos de la CDMX- ADIP - YouTube - Ciudad de México Datos abiertos para la innovación - YouTube - Ecuador Geocatmin : Datos abiertos en la nube - YouTube - Perú Datos y Mezcales - Open data day 2021 - YouTube - Ciudad de México Celebración del Día Internacional de los Datos Abiertos - YouTube - República Dominicana Datos abier

Big Data, Ética o Espionaje gubernamental

Big Data es el campo emergente que ofrece nuevas formas de dar valor añadido a las empresas. Sin embargo, el dilema moral sobre su uso por las compañías, ha puesto en tela de juicio el negocio que se realiza con ellos y la privacidad de las personas (Maza, 2017). Es decir, l a dificultad de garantizar el anonimato de los datos se ha convertido en uno de los aspectos más reiterados al hablar de preservar la privacidad cuando se trabaja en minería de datos. De igual forma, poner la información anónima implica extraer de las bases de datos aquella información que implícitamente sea posible relacionar. Este tema de la privacidad de los datos y sobre quienes recae se ha debatido ya por muchos años sobre todo por el manejo que las compañías han hechos de estos datos (Maza, 2017). Esto tiene que ver con la ética. Big Data, espionaje y privacidad de los datos personales en Internet: Big Data, espionaje y privacidad de los datos personales en Internet (eneslis.blogspot.com) Al respecto, Pasto

Singapur, el país del futuro ¿Black Mirror?

Singapur Barcelona, Singapur y Londres, las mejores smart cities del mundo

¿Cuántas V's caracterizan al Big Data?

3 V's ¿Volumen, Variedad y Velocidad? 4 V's ¿V olumen, Variedad, Velocidad y Veracidad? 5 V's ¿V olumen, Variedad, Velocidad, Veracidad y Valor? 6 V's ¿V olumen, Variedad, Velocidad, Veracidad, Viabilidad y Visualización ? 7 V's ¿ V olumen, Variedad, Velocidad, Veracidad, Viabilidad, Visualización y Valor? 8 V's ¿ V olumen, Variedad, Velocidad, Veracidad, Viabilidad, Visualización, Valor y Viscosidad? 9 V's ¿ V olumen, Variedad, Velocidad, Veracidad, Viabilidad, Visualización, Valor, Viscosidad y Variabilidad? Referencias Las 7 V del Big data: Características más importantes - IIC (uam.es)

Comunidad de Recursos sobre Aprendizaje de Datos Abiertos, Estadística, Ciencia de Datos y Big Data

Buscar este blog