Procesamiento de Dataset con Apache Spark en Databricks

Se requiere un freelancer experto en Apache Spark para procesar un dataset. La tarea principal consiste en leer el dataset desde un volumen en Databricks Free Edition o Azure Databricks (utilizando una ruta de ADLS o un volumen) y aplicar el procesamiento indicado en un notebook de Spark que será proporcionado. El freelancer deberá ejecutar las instrucciones del notebook para transformar y analizar los datos. La ubicación específica del dataset será ajustada por el cliente en el notebook antes de la ejecución, por lo que la solución debe ser flexible para adaptarse a diferentes rutas de origen de datos.