В Google создали СУБД для очень больших объемов данных

На конференции VLDB2014, посвященной проблемам работы с базами данных очень большого размера, специалисты Google представили доклад о новой разработке компании — СУБД под названием Mesa.

Она способна хранить петабайты данных, обновлять миллионы записей в секунду и обрабатывать в сутки триллионы запросов. Mesa может работать параллельно в нескольких центрах обработки данных, поддерживая базу данных в синхронизированном состоянии.

Создание собственной СУБД было необходимо Google для хранения и анализа данных своего рекламного бизнеса. Ни одна из существующих систем не обладала соответствующими возможностями. Google требовалось обеспечить непрерывное обновление данных в базе и одинаковые результаты запросов вне зависимости от того, в каком из центров они обрабатывались. Реляционные СУБД обеспечивают согласованность результатов, но с трудом справляются с большими объемами данных, тогда как СУБД на основе NoSQL не обладают достаточным для задач Google уровнем согласованности данных. Хотя многие внутренние разработки Google впоследствии легли в основу коммерческих и свободных приложений и облачных сервисов, возможности коммерческого использования Mesa пока невелики, полагает аналитик Monash Research. В мире немного организаций с запросами уровня Google, считает он.