PySparkでログ出力を詳細（DEBUG）にするには、環境変数 SPARK_LOG_LEVEL=DEBUG を設定するだけではなく、Sparkのロガー設定ファイル（log4j.properties）を明示的に読み込ませる必要があります。 ⸻ 方法①：Pythonコード内でログレベルをDEBUGにする（おすすめ） 以下 ...

PySparkの最も顕著な強みの1つは、既存のPythonベースのツールを分散環境に組み込む能力です。 例えば、放送メカニズムにより、モデルと参考データが複数のノードで効率的に共有され、大規模な機械学習タスクが可能になります。

この記事は Pythonその4 Advent Calendar 2020 24日目クリスマスイブの投稿記事です。 pythonはいろいろな用途で使えるのですが、私の利用用途の一つであるデータのチェックの観点での投稿になります。 データエンジニアな世界のpython Java、pythonが多いですね。