OSSのストレージフレームワーク「Delta Lake 3.0」公開　DWHの課題を解決：相互運用性、効率性、パフォーマンスが向上

　Delta Lakeは、「Amazon S3」（Amazon Simple Storage Service）、「ADLS」（Azure Data Lake Storage）、「Google Cloud Storage」などの既存データレイクに対応している。

　Delta Lake 3.0の主な特徴は、Delta Universal Format（Delta UniForm）、Delta KernelおよびMERGEとDELETEの大幅な高速化だ。

Delta UniForm

　企業はシームレスなデータレイクハウスの構築を目指す中で、どのストレージフォーマットを標準化するかで頭を悩ませてきた。Delta UniFormは、アプリケーションが要求するフォーマットでデータを読み込むことを容易にし、高い互換性と幅広いエコシステムを保証する。「Apache Hudi」「Apache Iceberg」などの全てのテーブルストレージフォーマットが、Parquetデータファイルとメタデータレイヤーで構成されていることを利用して実現されている。

Delta Kernel

　Delta Kernelプロジェクトは、Deltaテーブルの読み込みと書き込みが可能なDeltaコネクターを、Deltaプロトコルの詳細を理解しなくても構築できるようにするJavaライブラリのセットだ。簡素化されたAPIを提供し、Deltaコネクターの構築プロセスの効率化を支援する。

MERGEとDELETEの大幅な高速化

　MERGEは、多くのケースで挿入のみのコードパスを使用できるデータスキッピングをより活用できるようになり、動作も全体的に改善された。これにより、さまざまなシナリオでパフォーマンスが最大2倍向上した。DELETE操作も2倍以上高速化した。DELETE操作の高速化は、データのパージや更新時の待ち時間短縮につながり、よりアジャイル（俊敏）なデータの管理と処理を可能にする。