
Поскольку RT.Warehouse поддерживает сложные запросы, обрабатывающие большие объёмы данных, в том числе сложные аналитические функции, она эффективно может использоваться для построения корпоративного хранилища данных, BI-аналитики, AD-HOC запросов и data science
Какие задачи решает
Обеспечивает высокую степень производительности и отказоустойчивости
Гибкость горизонтального масштабирования
Продвинутый оптимизатор запросов
используется в ядре
Адаптация архитектуры
для хранения и обработки больших массивов данных
Ключевые функции
Нагрузка и данные распределяются равномерно между серверами кластера. Масштабируются не только узлы, но и каналы загрузки и выгрузки данных, что существенно упрощает процесс интеграции с источниками данных и аналитическими системами
- В RT.Warehouse реализован протокол параллельного обмена данными со сторонними системами — Platform eXtension Framework, который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера
- Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3
Кроме этого, все внутренние взаимодействия компонентов СУБД также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера — зашифрованы с помощью ключей PGP (на уровне таблиц, либо колонок в таблицах)
Помимо ограничения доступа к таблицам и другим объектам СУБД можно создать схемы ограничения к строкам и столбцам отдельных таблиц
Обеспечивает:
- Синхронизацию между кластерами с разным количеством сегментов
- Автоматическая синхронизация процессов бэкапа с процессами регулярных загрузок
Для параллельной загрузки данных напрямую в сегменты
Включает следующие функции:
- Автоматическая установка кластера, благодаря собственным ansible-скриптам
- Интерфейсы мониторинга состояния кластера: утилизация ресурсов на сегмент-серверах, утилизация ресурсных групп, объём баз/схем, объём таблиц системного каталога
- Возможность автоматического линейного расширения
Реализация сценариев «охлаждения» данных детального слоя
Компоненты системы
Решение построено на исходном коде ПО Greenplum database
Использует сборку Greenplum 6.26.1 с последними версиями компонент и рекомендациями по настройке конфигурации.
Миграция данных
Набор инструментов для миграции данных со старых версий
Набор скриптов SQL, Shell, Python
- Регулярный vacuum, analyze таблиц системного каталога
- Инструменты анализа лога событий
- Мониторинг блокировок представлений и очередей
- Подготовка и сжатие партиций для исторических данных
- Мониторинг исчерпания счётчика транзакций
Преимущества
Техническая поддержка и консультации пользователей на русском языке
Полноценный комплект технической и эксплуатационной документации
Российское решение
Программный продукт зарегистрирован в реестре отечественного программного обеспечения
Гибкие варианты поставки и развёртывания решения
От самостоятельной установки дистрибутива в инфраструктуре Заказчика до использования готового решения в облачной инфраструктуре дата-центров Ростелекома и его партнёров
Кейсы
Необходимая составляющая любого корпоративного хранилища данных, предназначенная для управления важнейшей для ведения бизнеса нетранзакционной информацией: о клиентах, продуктах, услугах, персонале, технологиях, материалах
Анализ эффективности рекламы на основе логов телесмотрения и данных о покупках
Организовать регулярную оценку рентабельности рекламных кампаний на ТВ с целью эффективного перераспределения бюджета и определения сильных и слабых каналов продвижения
Технологии:
Data Warehouse Data Engineering
Решение:
В рамках предоставления услуг IPTV Ростелеком накапливает по каждому клиенту статистическую информацию о времени включения телевизора и просматриваемых каналах. При наличии сетки выхода рекламных ТВ роликов эти данные дают возможность выявлять клиентов, у которых телевизор был включен в момент трансляции рекламы, рентабельность которой необходимо оценить.
На основе информации из чеков ОФД, включающих рекламируемый товар без привязки к ритейлеру и другим параметрам покупки и обогащенных идентификаторами клиентов, рассчитывается процент пересечения клиентов, купивших товар, с пользователями IPTV, смотревшими рекламный ролик. Проценты пересечения рассчитываются в разрезе регионов и поло-возрастных групп. Эти агрегированные показатели пересечения служат оценкой влияния ТВ рекламы на продажи.
Эффекты:
Оптимальное перераспределение рекламных бюджетов на базе оценки влияния ТВ-рекламы на продажи
Построение рекомендательных моделей продаж на базе искусственного интеллекта в сегментах B2B, B2C
Увеличить конверсию продаж за счёт использования индивидуальных рекомендаций, адаптированных к потребностям каждого клиента и учитывающих историю клиентского опыта
Технологии:
Data Warehouse Data Engineering Data ScienceРешение:Для решения задачи в ПАО Ростелеком построена система из нескольких сотен рекомендательных моделей на базе искусственного интеллекта, учитывающая все накопленные компанией знания о клиенте, как внутренние — например, обращения клиента в техническую поддержку, профиль использования услуг компании, адресная информация и др., так и полученные из внешних источников — например, данные социальных сетей, ЗАГС и др.На основе анализа данных о клиенте модели помогают получать информацию о его потребностях и предпочтениях и при дальнейшем общении с клиентом позволяют предложить именно тот продукт, который с высокой вероятностью окажется ему полезен.При этом не тратится время на предложение продуктов, в которых клиент не нуждается.
Эффекты:
Использование рекомендательных моделей продаж позволило повысить конверсию продаж в 2–3 раза для существующих и новых клиентов ПАО Ростелеком
Напишите нам
Мы ответим на ваши вопросы