En este artículo vamos a aprender sobre el manejo de números en Scala. En Scala, los tipos Byte, Short, Int, Long y Char se conocen como tipos integrales porque están representados por enteros o números enteros. Los tipos integrales junto con Double y Float comprenden los tipos numéricos de Scala. Estos tipos numéricos amplían el […]
Tipos de transformaciones en un RDD en Apache Spark
En este artículo vamos a hablar de los diferentes tipos de transformaciones que podemos aplicar a un RDD en Apache Spark. Los RDD son inmutables y cada operación crea un nuevo RDD. Las dos operaciones principales que se pueden realizar en un RDD son transformaciones y acciones. En este caso nos centraremos en las transformaciones, y en […]
Usar un Trait como interfaz en Scala
Puede que esté acostumbrad@ a crear interfaces puras en otros lenguajes, declarando métodos sin implementaciones, y desea usar un trait como interfaz en Scala y luego usar esas interfaces con clases concretas. En su nivel más básico, los trait de Scala se pueden usar como interfaces anteriores a Java 8, donde define métodos pero no proporciona una […]
Ciclo de vida de compilación de Maven
Maven se basa en el concepto central de un ciclo de vida de construcción. Lo que esto significa es que el proceso para construir y distribuir un artefacto en particular, es decir, un proyecto está claramente definido. Para la persona que construye un proyecto solo es necesario aprender un pequeño conjunto de comandos para construir […]
Bloques try/catch/finally en Scala
Los bloques try/catch/finally de Scala son similares a los de Java pero la sintaxis es un poco diferente, principalmente en el bloque catch debido a que es similar a una expresión match. Las expresiones match son una característica de Scala. Al igual que las expresiones if, las expresiones match retornan un valor por lo que […]
Encontrar patrones en strings
A veces necesitamos encontrar patrones en strings en Scala. Un caso muy común sería, por ejemplo, verificar si un String contiene una expresión regular. Una posible solución para este problema sería crear un objeto Regex invocando el método .r en un String y luego usar ese patrón con la función findFirstIn cuando estemos buscando una […]
Almacenamiento en caché
El almacenamiento en caché permite que Spark conserve los datos en todos los cálculos y operaciones. De hecho, esta es una de las técnicas más importantes de Spark para acelerar los cálculos, especialmente cuando se trata de cálculos iterativos. El almacenamiento en caché funciona almacenando el RDD tanto como sea posible en la memoria. Si […]
Archivos pom y settings
En este artículo hablaremos de los archivos pom y settings en Maven; veremos sus principales características y algunos de sus elementos más importantes. Archivo pom Cada proyecto de Maven tiene un archivo pom que define de qué se trata el proyecto y cómo debe construirse. POM son las siglas en inglés de Project Object Model. […]
Particionado en Apache Spark
Los RDD operan con datos no como una sola masa de datos, sino que administran y operan los datos en particiones repartidas por todo el clúster. Por lo tanto, el concepto de partición de datos es fundamental para el correcto funcionamiento de los Jobs de Apache Spark y puede tener un gran efecto en el rendimiento […]
Diferentes formas de crear un RDD
En este artículo veremos las diferentes formas de crear un RDD en Apache Spark utilizando Scala. Resilient Distributed Dataset (RDD) es la abstracción principal de Spark. Los RDD son una colección de elementos particionados a través de los nodos del clúster los cuales pueden ser operados en paralelo. Existen tres características vitales asociadas con un […]