DatabricksのAuto Loaderは、クラウドストレージ（例：AWS S3やAzure Data Lake）に新たに追加されたファイルを自動検出し、効率的に取り込むための機能です。 従来のバッチ処理では「ファイルリストの全スキャン」が必要でしたが、Auto Loaderは「新規ファイルのみを ...

Databricksは、カルフォルニア州立大学バークレー校において、CEO兼共同設立者のアリ・ゴディシ(Ali Ghodsi)氏をはじめ、データとAIなどを研究するOSSの分散処理フレームワーク「Apache Spark」のクリエイター20人により、2013年にサンフランシスコで創業した。