Разработка аналитической системы для высоконагруженного медиа, Олег Новиков, Илья Салтанов (Sports.ru & Tribuna.com)
•
1 like•2,071 views
Доклад Олега Новикова и Ильи Салтанова на HighLoad++ 2014.
Report
Share
More Related Content
What's hot
What's hot (19)
Similar to Разработка аналитической системы для высоконагруженного медиа, Олег Новиков, Илья Салтанов (Sports.ru & Tribuna.com)
Similar to Разработка аналитической системы для высоконагруженного медиа, Олег Новиков, Илья Салтанов (Sports.ru & Tribuna.com) (20)
More from Ontico
More from Ontico (20)
Разработка аналитической системы для высоконагруженного медиа, Олег Новиков, Илья Салтанов (Sports.ru & Tribuna.com)
- 1. Разработка аналитической системы для высоконагруженного медиа Олег Новиков
- 2. Обо мне ! ! Олег Новиков, руководитель отдела аналитики Sports.ru, автор кандидатской диссертации «Высоконагруженные рекомендательные системы» в Высшей Школе Экономики
- 3. Зачем? caйта sports.ru ua.tribuna.com by.tribuna.com мобильных приложений потоков в соцсетях • Много разных сервисов для аналитики ! • Нет доступа к «сырым» данным • Нужны свои отчеты и метрики • Нельзя делать запросы к данным из разных источников
- 4. Где хранить данные? • Нужен удобный доступ (SQL) • Возможность обрабатывать много данных, например, clickstream • Простота внедрения • Способность легко масштабироваться
- 5. Amazon Redshift – плюсы Распределенная колоночная СУБД Поддерживает много функций и типов данных из PostgreSQL Очень быстро выполняет типичные аналитические запросы с группировками и агрегирующими функциями на небольшое число полей Очень легко мастштабируется, стоимость зависит от объема данных
- 6. Amazon Redshift – минусы Не поддерживает ограничения целостности и триггеры Не поддерживает много функций и типов данных из PostgreSQL Медленно выполняет запросы с участием нескольких полей (select * from table where id=<> будет работать несколько секунд) Медленно работают инсерты (они и не нужны), загрузка данных – пачками из файлов, загруженных в Amazon S3
- 7. Amazon Redshift • DISTKEY и SORTKEY • Гибкие настройки пользователей и ресурсов
- 9. Посещаемость
- 10. Хранилище Сырые данные • Clickstream • Активность • Подписки + установки
- 11. Хранилище Сырые данные • Clickstream (старые ! только за последний месяц, данные – в Amazon Glacier) • Активность • Подписки + установки Агрегаты • Сессии • По дням/неделям/ месяцам • Профили пользователей
- 12. Ввод данных
- 13. PROFIT! • Adhoc-анализ • Дашборды для всех отделов • Персонализация • Поиск ботов в системе рейтингов на сайте
- 14. Adhoc-анализ • SQL-интерфейс • Любые аналитические запросы • Анализ сырых данных • Без семплирования
- 15. 2 – Бизнес-анализ Панели для всех отделов: • Трафик • Пользовательская активность • Популярное #прямосейчас • Соцсети • Мобильные приложения • Инвентарь продаж • Редакционный процесс
- 22. Хранение персональных данных Федеральный закон № 242-ФЗ • У Amazon нет серверов в России • В Redshift не отправляются персональные данные, только id • Chart.io запрашивает персональные данные из БД сайта и джонит на таблицы из Redshift
- 23. Персонализация • Нарезка пользователей для рассылок • Персональные рекомендации
- 24. Расходы Ежемесячно #прямосейчас: $500 $180x4 $300x2 _________ $1 820 ! Chart.io 10 пользователей ноды Amazon Redshift фронтенд-сервера для логов !
- 25. «Как мы используем инфраструктуру обработки данных» «Как устроена инфраструктура анализа данных?» habrahabr.ru/company/sports_ru ! ! facebook.com/oleg.v.novikov