Como continuación del ejercicio de instalar primero extensiones y después módulos / librerías ahora vamos con una tarea común que es el análisis de grandes conjuntos de datos y vamos con nuestro conjunto de datos de juguete (sintético) - archivo de puestos de trabajo de 21 millones de registros.
La verdad todo fluyó bien y solo fue ver ejemplo de la web o de la inteligencia artificial y adecuarlo a mis datos, como aparece aquí, también cronometramos un par de consultas para ver en cuanto tiempo lo realiza.
La consulta se realiza aunque con algunos warnings como se ve en la siguiente imagen:
WARNING: Using incubator modules: jdk.incubator.vector - Este es informativo nos dice que se usarán rutinas experimentales.
26/02/10 13:05:12 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable - Aquí tenemos que no se tienen las librerías nativas de hadhoop, será necesario que el administrador del sistema valore el que las instale, hay una salida que es la que hace la librería que consiste la IA lo explica como "Spark usará versiones Java puras (más lentas para algunas operaciones)".
26/02/10 13:05:13 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
26/02/10 13:05:13 WARN Utils: Service 'SparkUI' could not bind on port 4041. Attempting port 4042.
...
Este es otro clásico que nos dice que los puertos están ocupados, nuevamente hay salida y el mismo software usa el puerto disponible.
Pues aunque estuve en 2 cosas a la vez pudimos llegar a buen término con estos artículos.
Hasta la siguiente lectura.
Miguel Araujo.
No hay comentarios:
Publicar un comentario