¿ Sabéis cual es la diferencia entre Machine Learning vs Data Science ? (según Andrew Ng) #ML #DS #MachineLearning #DataScience

 ¿ Sabéis cual es la diferencia entre Machine Learning vs Data Science ?

Pues bien, según el crack en la materia Andrew Ng, este es el significado de cada una de las materias a diferenciar:

Machine learning: “Field of study that gives computers the ability to learn without being explicity programmed” (Arthur Samuel, 1959) - Es decir, Machine Learning o Aprendizaje Automático es el campo de estudio que otorga a los ordenadores la capacidad de aprender sin ser programadas explícitamente (según definió Arthur Samuel en 1959).

Data Science: Science of extracting knowledge and insights from data - Es decir, Data Science o Ciencia de Datos es la ciencia de extraer el conocimiento y la información relevante de los datos.

Modelo de Maduración de la Analítica de Datos Empresarial

 A continuación os presento un interesante gráfico en que se representa un Modelo de Maduración de la Analítica de Datos Empresarial o Enterprise Data Analytics Maturity Model.

En este modelo de maduración se identifican 5 etapas graficadas en cuanto a Valor Transformacional y Nivel de Maduración:

1.Fragmented - Fragmentado

• Fragmented point solution (adhoc) - Soluciones fragmentadas adhoc
• High level of duplication - Alto nivel de duplicación
• Minimum resource capacity - Capacidad mínima de recursos

2.Opportunistic - Oportunista

• Integrated at a program level - Integrada a nivel de programa
• Limited Data sharing between departments - Intercambio limitado de datos entre departamentos
• Limited interoperability - Interoperabilidad limitada - 
• Functional Data stewardship - Gestión funcional de los datos

3.Standarized - Estandarizada

• Better integration at a department or sector level - Mejor integración a nivel de departamento o sector
• Data Governance established - Governanza de datos establecida
• Some level of interoperability - Cierto nivel de interoperabilidad
• Collaborative analytics - Analíticas corporativas

4.Optimized - Optimizada

• Integrated at enterprise level - Integrada a nivel empresarial
• Discoverable across enterprise - Detectable en toda la empresa
• Scalable analytics infrastructure - Infraestructura analítica escalable
• Interoperable - Interoperable
• Cross government analytics - Analíticas intergubernamentales

5.Innovative - Innovadora

• Data centric enterprise culture - Cultura empresarial centrada en datos
• Optimized data governance - Governanza de datos optimizada
• Actionable analytics to enhance value potencial - Analítica procesable para mejorar el valor potencial
• Centre of excellence established - Creación de un centro de excelencia
• Data as a Service Model - Modelo de datos como servicio

Quote sobre el desafío del flujo de información según Harari (leído en "UPGRADE" by Mónica Quintana y David Alayón) #quote #book #desafio #existencia #flujo #información #humanismo

Hoy os traigo un interesante párrafo del a su vez interesante libro "UPGRADE" de Mónica Quintana y David Alayón en el que hablan de la visión de Harari sobre el desafío existencial que supone el flujo de información:

"Harari utiliza esta palabra para designar una nueva religión: «El flujo de información es el valor supremo y la libertad de la información es el mayor bien de todos». 

Harari proyecta un futuro donde los humanos otorgamos a los algoritmos la potestad para que tomen todas las decisiones de nuestra vida por nosotros: 

«El humanismo se enfrenta ahora al desafío existencial y la idea de libre albedrío está siendo amenazada[...]. Una vez que los sistemas big data me conozcan mejor de lo que yo me conozco a mí mismo, la autoridad se desplazará de los humanos a los algoritmos»."

from "Upgrade. Desarrolla tu perfil a prueba de futuro (Acción empresarial)" by David Alayón, Mónica Quintana

Infografía sobre las preguntas que nos hacemos para conocer Big Data (by CTOvision) #BigData #preguntas #infografia

Vía CTOvision.com y el artículo Huge Big Data poster and reference (by KDnuggets) os muestro a continuación el detalle del poster que publicaron para que todo el mundo pueda entender el Big Data:

¿Qué es el Big Data?

¿Qué tipo de datos hay en Big Data? y ¿Cómo extraer conocimiento del Big Data?

¿Qué hacemos con el conocimiento que extraemos? y ¿Qué tipos de técnicas visuales existen?

¿Cómo de grande es el Big Data? y ¿Qué es un Data Scientist o Científico de Datos?

¿CCómo implementar soluciones de Big Data? y ¿Cómo abordar privacidad y ética en Big Data?

¿Qué tipo de algoritmos estadísticos existen?

¿Cómo segurizar el Big Data?

¿Cuáles son las herramientas líderes en Big Data? y ¿Qué preguntas deberíamos preguntarnos sobre las bases de datos?

¿Qué preguntas nos hacemos sobre las herrmientas predictivas? y ¿Quieres aprender más?

TED: Cómo los datos transformaran los negocios (by Philip Evans - TED@BCG San Francisco)

Hoy os traigo una interesante charla TED que realizó Philip Evans - TED@BCG San Francisco sobre Cómo los datos transformaran los negocio

TED: Cómo los datos transformaran los negocios (by Philip Evans - TED@BCG San Francisco) How data will transform business (by Philip Evans)





What does the future of business look like? In an informative talk, Philip Evans gives a quick primer on two long-standing theories in strategy -- and explains why he thinks they are essentially invalid.

This talk was presented at a TED Institute event given in partnership with BCG. TED editors featured it among our selections on the home page. Read more about the TED Institute.

Philip Evans · Consultant
BCG's Philip Evans has a bold prediction for the future of business strategy -- and it starts with Big Data.

Every year, TED works with a group of select companies and foundations to identify internal ideators, inventors, connectors, and creators. Drawing on the same rigorous regimen that has prepared speakers for the TED main stage, TED Institute works closely with each partner, overseeing curation and providing intensive one-on-one talk development to sharpen and fine tune ideas. The culmination is an event produced, recorded, and hosted by TED, generating a growing library of valuable TED Talks that can spur innovation and transform organizations.

TED: "La història té una cita amb la ciència gràcies al Big Data" de Manel Sanromà a TEDxTarragona #BigData #historia #ciencia #ManelSanroma #TED #Tarragona

En el post d'avui us recomano una xerrada TED de la mà del crack Manel Sanromà: 

TED:  La història té una cita amb la ciència gràcies al Big Data | Manel Sanromà | TEDxTarragona

La digitalització i, en concret, el Big Data ens obligarà a revisar la visió que tenim del món. Ja és possible fer grans experiments a nivell massiu que ens ajudin en la presa de decisions. Però la història que hem conegut fins ara passada també es pot veure modificada gràcies a les noves tecnologies.

Llicenciat en Humanitats, màster en TIC Salut i doctor en Astrofísica. Ha estat professor de Física a la Universitat Politècnica de Catalunya, d’Astrofísica a la Universitat de Barcelona i actualment és Professor de Matemàtica Aplicada a la Universitat Rovira i Virgili. Fundador de la Xarxa Ciutadana TINET i del domini .CAT. Ha estat membre del Board de Directors de la Internet Society, i actualment és membre de la Unió Astronòmica Internacional i de la Societat Catalana de Matemàtiques. Recentment fou designat Fill Predilecte de la Ciutat de Tarragona. Llicenciat en Humanitats, màster en TIC Salut i doctor en Astrofísica. Ha estat professor de Física a la Universitat Politècnica de Catalunya, d’Astrofísica a la Universitat de Barcelona i actualment és Professor de Matemàtica Aplicada a la Universitat Rovira i Virgili. Fundador de la Xarxa Ciutadana TINET i del domini .CAT. Ha estat membre del Board de Directors de la Internet Society, i actualment és membre de la Unió Astronòmica Internacional i de la Societat Catalana de Matemàtiques. Recentment fou designat Fill Predilecte de la Ciutat de Tarragona. This talk was given at a TEDx event using the TED conference format but independently organized by a local community. Learn more at https://www.ted.com/tedx

Vídeo explicativo sobre el Big Data y Analytics (by HBR) #BigData #BigDataAnaltytics #video

A continuación un antiguo pero interesante vídeo de HBR que trata de explicar Big Data y Analytics

Vídeo explicativo sobre el Big Data y Analytics (by HBR) - The Explainer: Big Data and Analytics (by HBR)

What the two terms really mean — and how to effectively use each. 

For more, read Big Data at Work: Dispelling the Myths, Uncovering the Opportunities.

Quote sobre dónde reside el poder de las empresas (leída en "¿Libres o vasallos?" by Aina Fernàndez i Aragonès, Albert Garcia Pujadas) #quote #poder #empresas #GenerarValor #información #OficinasAbiertas #ValorSociedad #SociedadRed

A continuación una frase sobre dónde reside en la actualidad el poder en las empresas. La frase es del libro que os recomiendo titulado "¿Libres o vasallos?" escrito por Aina Fernàndez Aragonès y Albert Garcia Pujadas

"Lo ven incluso las grandes empresas. Hay una clara tendencia a oficinas abiertas, sin despachos. Buscar la interacción, formal o informal. Generar confianza y dar valor a la sociedad. Para algunos seguirá siendo una utopía la creación de una sociedad red; otros la consideramos como la única alternativa posible. Donde no tiene sentido guardar como oro en paño lo que hagas. Hay que dar a conocer en abierto, contribuyendo al procomún o eso que llamamos creative commons. Antes, la información era poder. Ahora no. Ahora el poder está en generar valor compartiendo esa información."

(from "¿Libres o vasallos?" by Aina Fernàndez i Aragonès, Albert Garcia Pujadas)

Top 15 Profesiones con mayor proyección (según 3er report Linkedin)

Vía el post Finlandia forma (gratis) en Inteligencia Artificial básica a su población (by Marc Vidal), os muestro a continuación el ranking de las profesiones con mayor proyección según un estudio publicado por Linkedin

Top 15 profesiones con mayor proyección son según Linkedin:

1. Especialista en Inteligencia Artificial
2. Desarrollador de Salesforce
3. Especialista en Customer Success
4. Ingeniero de Robótica
5. Especialista en Ciber Seguridad
6. Agile Coach
7. Consultor de Cloud
8. Desarrollador de Python
9. Científico de Datos
10. Desarrollador de Big Data
11. Ingeniero de Datos
12. Representante de Help Desk
13. Representante de Desarrollo de Negocio
14. Representante de Desarrollo de Ventas
15. Ingeniero de Cloud

Más información en el artículo Emerging Jobs Report - The fastest-growing jobs in the world (by Linkedin).

Aplicación IA & Big Data en China's Healthcare (by WIPO)

A continuación os quiero mostrar otro apartado del interesante estudio Global Innovation Index 2019 - Creating Healthy Lives—The Future of Medical Innovation publicado por WIPO (World Intellectual Property Organization) con infinidad de datos relevantes.

En esta ocasión quiero comentar el apartado titulado Application of artificial intelligence and big data in China's healthcare services, es decir la aplicación de la Inteligencia Artificial y el Big Data en los servicios de salud de China.

1. Demand: growing healthcare demand creates opportunities for technological innovation

2. Technology: increasing standards and patents safeguard innovation

3. Capital: accelerating capital investment fuels innovation

4. Smart doctors: leveraging medical imaging

5. Smart doctors: leveraging diagnosis support

6. Intelligent hospitals: boosting management and
operational efficiency through mobile Internet

7. Intelligent pharmaceuticals: exploring digital and intelligent pharmaceutical research & development

8. Smart users: expanding from medical knowledge to health management

Top 5 countries/regions for AI patent applications (between 1985-2017)

Healthcare AI patent applications in major countries and regions (between 1985-2017)

Healthcare AI patent categories in China

Global Mobile Trends - Predictions for the next 10 years (by GSMA Intelligence)

Hoy quiero hacerme eco de las predicciones publicadas por GSMA Intelligence en el informe Global Mobile Trends - Predictions for the next 10 years

5 years by 2025

1 One of the GAFA companies is broken up

2 AR eye glasses reach the mass market with a form factor from at least one global OEM

3 5G becomes the first generation in the history of mobile to have a bigger impact on enterprise than consumers

4 Private enterprise networks explode and become competition battleground between telcos and cloud companies

5 Health wearables become part of the solution to overpressed public health systems. Over 50% of people in high income countries aged 55+ own a connected health device prescribed by their doctor (2019 = 5%)



10 years by 2030

1 The world’s first autonomous mobile network becomes commercially active

2 Global internet penetration inflects to reach 90% (2019 = 50%)

3 Data hubs established to facilitate public access to commercial IoT data

4 China becomes world’s largest mobile market by revenue (US = $247bn, China = $163bn in 2018)

5 Autonomous vehicles take hold. 35% of annual new car sales in the US are Level 4 by 2030

Vídeo: Evolución de las principales compañías .COM de 1998 a 2019 (by Data Is Beautiful)

En el siguiente vídeo podéis ver la evolución de las principales empresa .COM desde el año 1998 hasta la actualidad...

Biggest Dot-com Companies 1998 - 2019 (by Data Is Beautiful)


Change in the market capitalization of public companies from Dot-com/Internet sector since 1998 to 2019. Includes companies whose core businesses are internet consumer web services with the main activities occurring online. Excludes hardware and semiconductor companies. Only publicly traded companies listed.

TED: Generating Small Data Can Solve Big Problems (by Michael Mesterharm at TEDxUND)

A ver qué os parece la siguiente charla TED:

Generating Small Data Can Solve Big Problems: Michael Mesterharm at TEDxUND



Michael Mesterharm, a 2009 Notre Dame alumnus pursuing a master's degree in nonprofit administration and working at the Mercy Home for Boys and Girls in Chicago, appreciates the importance of big data but wants people to know that small data can positively influence your work or personal lives. Even though he is not a "math person," he says, he has created some simple charts that allow him (or anyone, for that matter) to track his students' work and grades and ensure they get the assistance they need.

In the spirit of ideas worth spreading, TEDx is a program of local, self-organized events that bring people together to share a TED-like experience. At a TEDx event, TEDTalks video and live speakers combine to spark deep discussion and connection in a small group. These local, self-organized events are branded TEDx, where x = independently organized TED event. The TED Conference provides general guidance for the TEDx program, but individual TEDx events are self-organized.* (*Subject to certain rules and regulations)

Video: The Explainer - Big Data and Analytics (by Harvard Business Review)

Os quiero mostrar en el vídeo de hoy la explicación que hace HBR de lo que significa Big Data:

The Explainer: Big Data and Analytics (by Harvard Business Review)

Big Data Congress 2018: The Challenges of Explaining Machine Learning Modules (by Ricardo Baeza)

Una de las conferencias más interesantes del Big Data Congress 2018 fue The Challenges of Explaining Machine Learning Modules de Ricardo Baeza,  CTO of (NTENT) y Director of CS programs de la Northeastern Univeristy (Silicon Valley USA).

XAI: Explainable AI (Artificial Intelligence)

La agenda para la conferencia de Ricardo Baeza-Yates era la siguiente:

Machine Learning:

Big Data & Predictability: Complexity / Size

Explainable AI

Goals

Big Data Congress 2018: Big Data Talent Awards

Los premios Big Data Talent Awards fueron presentados por Marc Torrent, director de BigDataCoE, y Jordi Trill, Big Data & Core Tech Business Development Manager de Oracle.

El premio Big Data Talent Awards para el mejor proyecto de final de carrera fue para Pedro Herruzo, Laura Portell y Alberto Soto con su proyecto Describing Socializing, Eating and Sedentary Lifestyle Patterns from Egocentric Images

El premio Big Data Talent Awards para el mejor proyecto de doctorado fue para Rohit Kumar con el proyecto Temporal Graph Mining and Distributed Processing

Big Data Congress 2018: Taming classified ads in Trovit (by Ferran Gali)

A continuación Ferran Galí , Lead Data Engineer en Trovit Search, realizó su conferencia titulada Taming classified ads in Trovit en el marco de la mesa redonda Effective technology stacks presentada por Dani Gonzalez de Eurecat.



Trovit es una empresa que se dedica a clasificar anuncios en las verticales de pisos, coches y empleos.


Web scraping:


Index generation con Apache Solr:


Pros y Contras con la experiencia de Trovit con la herramienta Apache Solr


Para la parte de proceso Trovit entonces incorporó Hadoop Map Reduce:


Con Hadoop Map Reduce era necesario realizar Data Pipeline de varios Jobs de MapReduce:


Y de esta forma se llevaba hasta Apache Solr para la parte de índices:


La experiencia de Trovit con Apache Hadoop resulta con los siguientes puntos a favor y en conctra de la herramienta:


Después incorporaron Kafka Spout:


Y la experiencia de la herramienta Storm:



El proceso pasó a Batch (MR) + Streaming (Storm) + Serving (Solr)


La experiencia de Trovit con la Arquitectura Lambda:


Sincronizando con HBase & Zookeeper:


La experica de TRovit con Apache HBAse es más que negativa que positiva:


Si comparamos MapReduce vs Spark:


La experiencia de Trovit con la herramienta Apache Spark es muy buena ya que ofrece más puntos positivos que negativos:


Unificar batch y código streaming:


Y de esta forma obtenemos un Streaming Pipeline:

Big Data Congress 2018: Productionalization of Advanced Analytics in multiplatform (by David Bordas)

La siguiente de las conferencias sobre la temática Effective technology stacks fue la que realizó David Bordas, Big Data Tribe Lead de Minsait, con el título Productionalization of Advanced Analytics in multiplatform: how to attack Mongodb, Hive and Neo4j in the same process

En primer lugar trató de la problemática actual:

Separación de aptitudes por equipo:

• Arquitectura
• Data Science
• BA/BI

Ciclo de un proyecto de DS Tradicional:

Minsait optó como fusión de equipos como solución, para que cada uno de los roles pudiera ayudar con sus aptitudes al resto del equipo:

Ejemplo práctico - introducción al problema:

Algoritmo:

Antigua forma de pensar:

Nuevos repositorios:

Solución del problema:

Resultados:

Nuevo ciclo de vida de un proyecto de DS

En definitiva con la siguiente conclusiones y futuro: