Сделка между Databricks и Tabular: новое поколение создателей Apache Iceberg

349

Databricks объединяет два ведущих формата озера: Delta Lake и Apache Iceberg
Компания Databricks объявила о том, что, объединив создателей Apache Iceberg и Linux Foundation Delta Lake, “два ведущих open source формата озера”, Databricks “приведет к совместимости данных, чтобы организации больше не были ограничены тем, в каком формате находятся их данные”.

Databricks также заявила о своем намерении тесно сотрудничать с сообществами Delta Lake и Iceberg, чтобы обеспечить совместимость форматов в озере; в краткосрочной перспективе – внутри Delta Lake UniForm, а в долгосрочной – двигаться к единому, открытому и общему стандарту взаимодействия. Databricks и Tabular будут работать вместе в направлении совместного видения открытого озера.

“Датабрикс открыла архитектуру озера в 2020 году, чтобы обеспечить интеграцию традиционных рабочих нагрузок хранилищ данных с рабочими нагрузками искусственного интеллекта на единственной, управляемой копии данных. Для этого все данные должны быть в открытом формате, чтобы различные рабочие нагрузки, приложения и движки могли получить доступ к одним и тем же данным”, – отмечает Databricks.

Основой озера являются открытые форматы данных, которые позволяют ACID-транзакции на данных, хранящихся в объектном хранилище, и существенно улучшают надежность и производительность операций с данными в озере данных, специально разработаны для open source движков, таких как Apache Spark™, Trino и Presto.

“Чтобы решить эти проблемы, Databricks сотрудничала с Linux Foundation для создания проекта Delta Lake. С момента его создания в Delta Lake приняли участие более 500 разработчиков из различных организаций, и более 10 000 компаний по всему миру используют Delta Lake для обработки более 4 экзабайт данных в среднем каждый день”, – говорит Databricks.

Для того чтобы реализовать преимущества озера, компания будет тесно сотрудничать с сообществами Delta Lake и Iceberg, чтобы с течением времени добиться совместимости форматов. В прошлом году Databricks представила Delta Lake UniForm. UniForm tables обеспечивают совместимость между Delta Lake, Iceberg и Hudi, и поддерживают интерфейс каталога Iceberg REST, чтобы компании могли использовать аналитические движки и инструменты, с которыми они уже знакомы, для работы с данными.
Оригинальная новость на сайте