Java ¿se quedó atrás?
Hace poco en la organización donde trabajo se reitero el uso obligatorio del framework desarrollado en casa y que su lenguaje base es Java y sus tecnologías adyacentes. Pensando en ese escenario se pensó en hacer un caso de uso (hacer frecuencias de ciertas variables de un archivo de texto) para que con estas cifras la generación aleatoria de datos de los llamados sintéticos tengan cierta tendencia de acuerdo a los datos reales, usando Java. Quizás a veces nos quedamos "congelados" con una forma de trabajar y debido a la gran velocidad y potencia que tiene Apache Spark para el procesamiento de archivos de gran tamaño, nos quedamos que es lo único que resuelve este caso. En el equipo se dio un pase adelante con la conversión de los archivos fuentes a parquet (ya se escribirá al respecto de este formato) y con ellos se disminuyó aun más el tiempo de procesamiento. Pero lo que no esperaba es que con un "clásico" procesamiento secuencial pudiera "ganarle" a Ap...