本稿では、Notebookの本番化という共通課題に対するDatabricks LakeflowとNetflix Metaflowの2つのアプローチを、設計思想の違いから比較しました。 *このブログは著者の個人的見解であり、所属する会社の公式見解ではありません。* データサイエンティストが直面 ...

本稿では、Databricksは、データパイプラインの領域において、なぜノートブック中心のアーキテクチャからLakeflowへ戦略転換したのか、技術的限界・競合環境・市場拡大の3つの視点から整理しました。 ※Databricksはデータ分析、データサイエンスについて ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

No exemplo acima, eu faço toda a minha etapa de “ETL” de forma sequencial, visto que, em meu caso, os arquivos eram disponibilizados no SFTP de 1 a 3 vezes ao dia (às vezes muito mais, que é onde ...