Machine Learning at Coursera: Week 10

Large Scale Machine Learning - cousera machine learning week 10

Large Scale Machine Learning

  • e.g. Census data, Website traffic data
  • Can we train on 1000 examples instead of 100 000 000? Plot
  • If high variance, add more examples
    If high bias, add extra features

Gradient Descent with Large Datasets

  • G.D. = batch gradient descent
  • Stochastic Gradient Descent
  • cost function = cost of theta wrt a specific example (x^i, y^i). Measures how well the hypothesis works on that example.
  • May need to loop over the entire dataset 1-10 times

Mini-Batch Gradient Descent

  • Batch gradient descent: Use all m examples in each iteration
  • Stochastic gradient descent: Use 1 example in each iteration
  • Mini-batch gradient descent: Use b examples in each iteration
  • typical range for b = 2-100 (10 maybe)
  • Mini-batch Gradient Descent allows vectorized implementation
    Can partially parallelize the computation

Advanced Topics

Stochastic G.D. convergence

  • every 1000 iterations we can plot the costs averaged over te last 1000 examples
  • Learning Rate, smaller learning rate means smaller oscillations (plot)
    average over more examples, 5000, may get a smoother curve
  • If curve is increasing, should use smaller learning rate
  • Learning Rate
    alpha = const 1 / ( iterationNumer + const2 )

Online Learning

  • continuous stream of data
  • e.g. 1. shipping service, from origin and destination, optimize the price we offer
    • x = feature vector (price, origin, destination)
      y = if they chose to use our service or not
  • e.g. 2. product search
    • input: “Android phone 1080p camera”
    • we want to offer 10 phones per query
    • learning predicted click through rate (CTR)

Map Reduce and Data Parallelism

  • Hadoop
  • Use local CPU to look at local data
  • Massive data parallelism
  • Free text, unstructured data
  • sentiment analysis
  • NoSQL
  • MongoDB

 

Sources

Machine Learning at Coursera: Week 9

Anomaly Detection

Anomaly_Detection-machine-learning-coursera

Density Estimation

Anomaly Detection

Gaussian distribution

  • e.g. Aircrafts engines features: heat generated, vibration intensity
  • e.g. servers: memory usage, cpu load, cpu load / network traffic

Building Anomaly Detection system
Developing and Evaluating
vs. Supervised Learning
What Features to Use

Multivariate Gaussian Distribution

 

Recommender Systems

Recommender-Systems-machine-learning-coursera

 

Content Based Recommendations

  • r(i, j): 1 if user j has rated movie i
  • y(i, j): rating user j to movie i

Collaborative Filtering

  • Symmetry breaking

Low-rank Matrix Factorization

Machine Learning at Coursera: Week 8

Machine Learning at Coursera: Week 8

Unsupervised Learning & K-means

  • Clustering Algorithms, K-means Algorithm
  • Centroids
  • K-means for non-separated clusters
  • Random initialisation
  • Elbow method

Dimensionality Reduction

  • 2D -> 1D
  • Data Compression to speedup training as well as visualizations of complex datasets
  • Indexes (e.g. GDP, Human Development Index)
  • Principal Component Analysis (PCA), projection
  • Data Preprocesing. Scaling, normalization
  • [U, S, V] = svd(sigma)
  • U = covariance matrix
  • Reconstruction from compressed representation

 

Machine Learning at Coursera: Week 7

Machine Learning Coursera - SVM - Week 7

This week is about Support Vector Machine (SVM).

First we will learn about Large Margin Classification, in reference to the larger minimum distance from any of the training samples.

We will study Kernels, and the adaptation to non-linear classifiers.

Choosing landmarks will also be covered.

C parameter will be studied.

Similarity and Gaussian Kernels are also main keywords of this session.

We will get good advice about using SVM vs Logistic Regression vs Neural Networks.

 

 

Machine Learning at Coursera: Week 6

Advice for Applying Machine Learning

Advice for Applying Machine Learning

What to try next? More samples? Smaller sets? More Complex features? Decreasing Lambda?

We will learn to use Test Sets and Cross Validation Set.

In this lesson is presented the powerful tool Bias vs. Variance.

 

Machine Learning System Design

Machine Learning System Design

Building a Spam Classifier, with this example we will learn to Prioritize what to work on and the Best use of our time.

Plotting learning curves will help us to grade our work and pivot our working path.

We will also learn to use a method for Error Analysis. Developing intuition with samples related to errors. Numerical evaluation would be an important tool for us.

For Skewed Classes we will get Precision and Recall. F1 Score measures the trade off between them.

 

Machine Learning at Coursera: Week 5

Machine Learning at Coursera: Week 5

Fifth week at this course is about Neural Networks

The initial topic is the detailed study about Cost Function.

Back Propagation and Forward Propagation are also explained.

 

The second part of this session is about Back-propagation in Practice

The lesson covers Unrolling Parameters (into vectors). Using reshape in MATLAB.

Gradient Checking is explained and also it is recommended to turn it off for training.

Random Initialization is the method used for Symmetry Breaking.

Last part of session is about putting all these together.

No, no me dejes trabajar

Y si suena a queja está bien, pues no es una queja por no querer participar de una acción altruista sino más bien muy mundana, y poco beneficiosa.

En estas épocas navideñas, vemos como los comerciantes no solo han llenado sus tiendas hasta ocupar la puerta, sino que ya ocupan la vereda, la pista. Es decir, lo que es de todos, ahora es de ellos. Y los únicos que ganan más son ellos, quienes venden las mercancías. Muchas veces de baja calidad, o malogradas.

ambulantes-vereda

Debemos pensar además que dificultan que algunas personas puedan caminar, como personas de avanzada edad. Y también evitan que podamos estar a mejor resguardo de los autos.

kiosko-invade-vereda

Sucede igual durante todo el año con los kioskos informales que colocan sus bolsas luego de sus carritos, y además promocionan sus productos hacia los microbuses. Toda una cadena de atentados contra la seguridad. Exponen a las demás personas a que en tumultos los atropellen o asalten.

Y también tenemos en mayor escala a las empresas de transporte de mercancías que dicen “este lugar está bueno para nuestro local porque la pista es ancha”, y claro, ese será su lugar de trabajo. No dejarán solo un carril disponible sino que con frecuencia lo ocuparán también mientras descargan o cargan sus productos. Otros manejan la posibilidad de vender el espacio privado donde realizan la labor de carga, pues pueden obtener un montón de plata y la pista está disponible.

camiones-en-carril

Así también las empresas de transporte de personas y las clínicas están produciendo más congestionamiento vehicular porque frente a ellos los carriles de las vías de automóviles se convierten en paraderos.

Y así unos rentabilizan perjudicando a los demás, somos sus inversionistas sin consulta previa. Y son cómplices de atropellos y asaltos.

Empieza desde casos que parecen solo criticables por quienes no tienen corazón, pero… ¿está bien que en una escalera de un puente peatonal la mitad la ocupe una persona que ofrece caramelos? ¿En una rampa de un puente pueden estar comerciantes?

Así en medio camino tenemos los chifas o restaurantes baratos, que suenan a “emprendedores” o “microcomerciantes”, pero la realidad es que no cumplen los requisitos para ser empresarios, porque no tienen la preparación para dar un servicio que implica temas tan fundamentales como la salud. Esas personas sí deben ser trabajadores dependientes, dentro de una empresa responsable. No tienen aún la capacidad de velar por el bienestar de clientes ni de empleados, menos aún por su progreso.

chifa-insalubre

Pero ellos dirán… reclamarán… déjame trabajar. Déjame robarte deberían decir, deberían sincerarse, déjame engañarte con comida malograda. Déjame vender zapatillas y celulares que robé ayer.

Variables de análisis para el Ranking Merco para las empresas

Variables del Ranking Merco para Empresas

 

Hoy la PUCP difunde su buen ascenso en el Ranking Merco, de reputación. Ha ascendido entre las empresas en Perú del puesto 99 al 17. Y es la primera en el rubro de Educación.

Una de las primeras dudas y acusaciones es si la universidad es una empresa (“un negocio”) y pues lo es en la modalidad de Sin Fines de Lucro.

Y otro punto es acerca de lo que mide el Ranking Merco. Pues la PUCP gana en la categoría de empresas, y hay otra categoría que es para personas (Merco Líderes).

En el libro Marketing y Reputación: De la Atracción a la confianza se revisa este ranking y otros enfoques más cuando se trata las dimensiones de la reputación.

Vemos sin duda que debe haber un beneficio contable y rentabilidad. Pero se va más allá del negocio: construyendo un valor de marca, con calidad laboral. La reputación y este ranking brinda peso también a la ética y responsabilidad con la sociedad, el medio ambiente; un compromiso con la comunidad.

Compartimos dos citas que nos ayudan a entender más acerca de Reputación:

 

Ir más allá del rol netamente comercial

… las marcas deben ir más allá de su rol completamente comercial, porque el valor humano les significará negocio también, pero el beneficio será compartido, y así volvemos a lo esencial del marketing; aquello de lo que hablaba Peter Drucker, pero a mayor escala: mi respaldo.

de la introducción del libro Marketing y Reputación: de la atracción a la confianza de Milton Vela

 

Debe buscar que la sociedad entera sea exitosa

Quien quiere entonces tener una empresa exitosa deberá necesariamente buscar ayudar a que la sociedad entera sea exitosa, con lo cual gana doblemente. Gana porque tendrá el clásico retorno de su inversión empresarial y gana porque así estará contribuyendo para que él, su familia, sus vecinos y conciudadanos vivan en un mundo mejor.

del Dr. Rolando Arellano Cueva de Arellano Marketing, en el prólogo de De la atracción a la confianza de Milton Vela.