Банк «Тинькофф Кредитные Системы» первый в России внедрил систему EMC Greenplum 4.2 для анализа больших данных в режиме реального времени
2 Октября 2012
Банк «Тинькофф Кредитные Системы» на протяжении последних нескольких лет демонстрирует высочайшие темпы роста портфеля кредитных карт, которые стали возможными за счет уникального сочетания характеристик продукта, уровня клиентского обслуживания и персонализированного маркетинга, основанных на глубокой аналитике потребностей потенциальных и существующих клиентов. Дальнейшие планы по наращиванию клиентской базы и вместе с тем возросшие требования к скорости обработки накопленной информации создали необходимость применения специализированных средств работы с Большими Данными и адаптации аналитической инфраструктуры Банка к работе в режиме реального времени.
Первым этапом выбранной стратегии стал проект по миграции корпоративного хранилища данных Банка на распределенную аналитическую платформу EMC Greenplum. Основными критериями, определившими выбор Банка, стали: высочайшая скорость загрузки и обработки данных, масштабируемость решения, возможность полиморфного хранения данных, наличие технологии сжатия, глубокая интеграция с используемыми Банком аналитическими продуктами компании SAS Institute.
Соответствие перечисленным выше требованиям было подтверждено результатами полномасштабного тестирования производительности, проведенного специалистами Банка в лаборатории EMC в условиях максимально приближенных к реальной ситуации (Proof of Concept).
Основной проект стартовал в декабре 2011 года и был выполнен за 6 месяцев, с применением методологии итеративной разработки.
Во время внедрения проекта существовавшая в Банке инфраструктура в виде стандартной СУБД, работающая на тяжелых серверах SPARC-архитектуры, была заменена системой EMC Greenplum, построенной на базе архитектуры массивно-параллельных вычислений без разделяемых компонентов (MPP, Massive Parallel Processing). В этой архитектуре, которая была разработана специально для создания бизнес-аналитики и аналитической обработки, каждое устройство функционирует как самодостаточная СУБД, которая владеет определенной частью общих данных и управляет ими. Эта система автоматически распределяет данные и распараллеливает рабочие нагрузки запросов на все доступное оборудование, используя принципы Map Reduce.
В результате время решения аналитических задач сократилось минимум в десять раз, а для некоторых – более чем в 100 раз. Использование же в качестве узлов системы серверов «стандартной» архитектуры позволило получить экономически эффективную и неограниченную линейную масштабируемость вычислительных мощностей.
Сложность проекта, помимо развертывания новой инфраструктуры хранения данных, заключалась в необходимости интегрировать новые подходы к загрузке и извлечению данных с используемыми Банком аналитическими системами SAS Institute, сохранив при этом целостность и работоспособность действующих бизнес-процессов Банка. Для выполнения поставленной задачи была собрана проектная команда из консультантов компании Glowbyte Consulting, взявшей на себя функции системного интегратора, инженеров World IT Systems, отвечавших за настройку и эксплуатацию рабочих окружений и специалистов департамента ИТ Банка. Авторский надзор и аудит проектных решений осуществляли представители компаний EMC/Greenplum и SAS Institute. Кураторами проекта выступили CTO и основатель компании EMC Greenplum Люк Лонерган и Директор SAS Global Technology Practice Марк Торр.
В ходе проекта был осуществлен комплексный реинжиниринг более 350 процессов загрузки и преобразования данных, разработана библиотека ELT-трансформаций, оптимизированная для работы с Greenplum и SAS, создана инфраструктура прямого доступа бизнес-аналитиков Банка к детальному слою данных для проведения data mining исследований без привлечения ресурсов внутреннего ИТ, разработаны процедуры резервного копирования и аварийного восстановления данных.
Таким образом, Банк запустил платформу, готовую к загрузке данных в хранилище и обновлению аналитических витрин в режиме реального времени, что для компании, использующей знания о клиентах, как конкурентное преимущество, является приоритетным направлением.
В дальнейшем Банк планирует развивать не только инструмент Greenplum , адаптированный для массивно-параллельных вычислений, но также и Hadoop, предназначенный для обработки неструктурированных данных, и платформу Chorus, которая предоставляет возможность совместной работы с корпоративными данными, получаемыми из разных источников.
Цитата представителя Банка «Тинькофф Кредитные Системы»
Вячеслав Цыганов, Вице-президент, CIO, банк «Тинькофф Кредитные Системы»
«Ценность выполненного проекта для Банка, несмотря на его явную технологическую направленность, заключается в развитии существующей в Банке культуры принятия решений на основе анализа информации. Умение превращать накопленные данные в знания давно является признаком конкурентоспособности Банка, а сами данные – стратегическим активом и потенциалом для будущего роста. В ближайшее время клиентами будут востребованы Банки, которые лучше понимают их поведение, привычки и максимально соответствуют им. Мы убеждены, что успешно запущенная аналитическая платформа данных EMC Greenplum, благодаря своим уникальным параметрам масштабируемости и производительности позволит повысить не только скорость принятия решений, но также ценность и актуальность наших знаний о клиентах».
Цитата представителя ЕМС/Greenplum
Коби Лиф, Директор по продажам в регионе Европа, Ближний Восток и Африка, Greenplum, подразделение EMC
«Мы рады, что один из самых продвинутых в технологическом отношении российских банков сделал выбор в пользу решения EMC Greenplum. Теперь специалисты банка могут без ущерба для производительности расширять хранилище данных, в том числе подключаться к новым источникам Больших Данных, например, к социальным сетям. Необходимый ресурс хранения выделяется автоматически и освобождается после решения конкретной задачи. По сути, аналитическая обработка больших объемов данных, структурированных или неструктурированных, после внедрения платформы хранения EMC стала для банка рядовым сервисом корпоративной информационной системы. Банк сделал важнейший шаг в направлении создания онлайн-хранилища данных, создав инфраструктуру, работоспособность которой не зависит ни от типов данных, ни от их объема и даже от темпов их роста».
Информация о Greenplum
Greenplum, подразделение EMC, предлагает революционные продукты, определяющие будущее рынка аналитики Больших Данных, которые являются результатом опыта специалистов по изучению данных, имеющих целью помогать глобальным организациям в реализации бизнес возможностей в полном объеме и создания прогнозируемого предприятия, способного управлять своими данными. Продукты этого отделения EMC - Greenplum® Unified Analytics Platform, Greenplum® Data Computing Appliance, Greenplum® Database, Greenplum® Analytics Lab, Greenplum® HD and Greenplum® Chorus™ - реализуют мощь открытых систем, облачных вычислений, виртуализации и общественной кооперации, позволяя глобальным организациям извлечь еще больше полезной и ценной информации от накопленных данных. Дополнительную информацию об EMC можно найти на сайте www.greenplum.com
О корпорации ЕМС
Корпорация EMC является глобальным лидером, помогающим компаниям и сервис-провайдерам преобразовать свою работу и предоставлять ИТ как сервис. Основой таких преобразований являются облачные вычисления. Инновационные продукты и сервисы EMC ускоряют переход к облачным вычислениям, помогая ИТ-подразделениям более динамично, надежно и экономично хранить, управлять и анализировать информацию, которая представляет для них самый важный актив. Подробнее о EMC можно узнать на сайте www.russia.EMC.com.
О банке «Тинькофф Кредитные Системы»
Банк «Тинькофф Кредитные Системы» основан в 2006 году предпринимателем Олегом Тиньковым для дистанционного обслуживания клиентов на рынке кредитных карт. В середине 2007 года банк приступил к эмиссии кредитных карт. В 2009 году банк начал принимать вклады населения, является участником Системы страхования вкладов.
В 2007 году в число совладельцев банка «Тинькофф Кредитные Системы» вошел международный инвестиционный банк Goldman Sachs, в 2008 году - фонд Vostok Nafta Investment Limited, в 2012 году – Baring Vostok Private Equity Fund IV.
В апреле 2011 года банк «Тинькофф Кредитные Системы» выпустил миллионную кредитную карту, в апреле 2012 года – двухмиллионную. На 1 июля 2012 года банк занимает 5-е место в России по объему портфеля кредитных карт (33,6 млрд рублей) с долей рынка 6,7%.
Чистая прибыль банка по МСФО в 2011 году составила $68 млн.
О компании «GlowByte Consulting»
Компания GlowByte Consulting является активным игроком на рынке BI c 2004 года. Компания фокусируется на внедрении решений в области аналитики и хранилищ данных, что позволяет добиться значительной эффективности по сравнению со средними показателями по рынку. Осуществляет продвижение инновационных решений в области управления большими данными.
О компании «World IT Systems»
Компания WITS является эксклюзивным дистрибьютором решений EMC Greenplum и занимает лидирующее положение в сфере распространения инновационных IT продуктов, оказывающих содействие в управлении ИТ-инфраструктурой крупных организаций. Основной целью компании является предоставление доступа российских компаний к самым современным мировым технологиям.
Первым этапом выбранной стратегии стал проект по миграции корпоративного хранилища данных Банка на распределенную аналитическую платформу EMC Greenplum. Основными критериями, определившими выбор Банка, стали: высочайшая скорость загрузки и обработки данных, масштабируемость решения, возможность полиморфного хранения данных, наличие технологии сжатия, глубокая интеграция с используемыми Банком аналитическими продуктами компании SAS Institute.
Соответствие перечисленным выше требованиям было подтверждено результатами полномасштабного тестирования производительности, проведенного специалистами Банка в лаборатории EMC в условиях максимально приближенных к реальной ситуации (Proof of Concept).
Основной проект стартовал в декабре 2011 года и был выполнен за 6 месяцев, с применением методологии итеративной разработки.
Во время внедрения проекта существовавшая в Банке инфраструктура в виде стандартной СУБД, работающая на тяжелых серверах SPARC-архитектуры, была заменена системой EMC Greenplum, построенной на базе архитектуры массивно-параллельных вычислений без разделяемых компонентов (MPP, Massive Parallel Processing). В этой архитектуре, которая была разработана специально для создания бизнес-аналитики и аналитической обработки, каждое устройство функционирует как самодостаточная СУБД, которая владеет определенной частью общих данных и управляет ими. Эта система автоматически распределяет данные и распараллеливает рабочие нагрузки запросов на все доступное оборудование, используя принципы Map Reduce.
В результате время решения аналитических задач сократилось минимум в десять раз, а для некоторых – более чем в 100 раз. Использование же в качестве узлов системы серверов «стандартной» архитектуры позволило получить экономически эффективную и неограниченную линейную масштабируемость вычислительных мощностей.
Сложность проекта, помимо развертывания новой инфраструктуры хранения данных, заключалась в необходимости интегрировать новые подходы к загрузке и извлечению данных с используемыми Банком аналитическими системами SAS Institute, сохранив при этом целостность и работоспособность действующих бизнес-процессов Банка. Для выполнения поставленной задачи была собрана проектная команда из консультантов компании Glowbyte Consulting, взявшей на себя функции системного интегратора, инженеров World IT Systems, отвечавших за настройку и эксплуатацию рабочих окружений и специалистов департамента ИТ Банка. Авторский надзор и аудит проектных решений осуществляли представители компаний EMC/Greenplum и SAS Institute. Кураторами проекта выступили CTO и основатель компании EMC Greenplum Люк Лонерган и Директор SAS Global Technology Practice Марк Торр.
В ходе проекта был осуществлен комплексный реинжиниринг более 350 процессов загрузки и преобразования данных, разработана библиотека ELT-трансформаций, оптимизированная для работы с Greenplum и SAS, создана инфраструктура прямого доступа бизнес-аналитиков Банка к детальному слою данных для проведения data mining исследований без привлечения ресурсов внутреннего ИТ, разработаны процедуры резервного копирования и аварийного восстановления данных.
Таким образом, Банк запустил платформу, готовую к загрузке данных в хранилище и обновлению аналитических витрин в режиме реального времени, что для компании, использующей знания о клиентах, как конкурентное преимущество, является приоритетным направлением.
В дальнейшем Банк планирует развивать не только инструмент Greenplum , адаптированный для массивно-параллельных вычислений, но также и Hadoop, предназначенный для обработки неструктурированных данных, и платформу Chorus, которая предоставляет возможность совместной работы с корпоративными данными, получаемыми из разных источников.
Цитата представителя Банка «Тинькофф Кредитные Системы»
Вячеслав Цыганов, Вице-президент, CIO, банк «Тинькофф Кредитные Системы»
«Ценность выполненного проекта для Банка, несмотря на его явную технологическую направленность, заключается в развитии существующей в Банке культуры принятия решений на основе анализа информации. Умение превращать накопленные данные в знания давно является признаком конкурентоспособности Банка, а сами данные – стратегическим активом и потенциалом для будущего роста. В ближайшее время клиентами будут востребованы Банки, которые лучше понимают их поведение, привычки и максимально соответствуют им. Мы убеждены, что успешно запущенная аналитическая платформа данных EMC Greenplum, благодаря своим уникальным параметрам масштабируемости и производительности позволит повысить не только скорость принятия решений, но также ценность и актуальность наших знаний о клиентах».
Цитата представителя ЕМС/Greenplum
Коби Лиф, Директор по продажам в регионе Европа, Ближний Восток и Африка, Greenplum, подразделение EMC
«Мы рады, что один из самых продвинутых в технологическом отношении российских банков сделал выбор в пользу решения EMC Greenplum. Теперь специалисты банка могут без ущерба для производительности расширять хранилище данных, в том числе подключаться к новым источникам Больших Данных, например, к социальным сетям. Необходимый ресурс хранения выделяется автоматически и освобождается после решения конкретной задачи. По сути, аналитическая обработка больших объемов данных, структурированных или неструктурированных, после внедрения платформы хранения EMC стала для банка рядовым сервисом корпоративной информационной системы. Банк сделал важнейший шаг в направлении создания онлайн-хранилища данных, создав инфраструктуру, работоспособность которой не зависит ни от типов данных, ни от их объема и даже от темпов их роста».
Информация о Greenplum
Greenplum, подразделение EMC, предлагает революционные продукты, определяющие будущее рынка аналитики Больших Данных, которые являются результатом опыта специалистов по изучению данных, имеющих целью помогать глобальным организациям в реализации бизнес возможностей в полном объеме и создания прогнозируемого предприятия, способного управлять своими данными. Продукты этого отделения EMC - Greenplum® Unified Analytics Platform, Greenplum® Data Computing Appliance, Greenplum® Database, Greenplum® Analytics Lab, Greenplum® HD and Greenplum® Chorus™ - реализуют мощь открытых систем, облачных вычислений, виртуализации и общественной кооперации, позволяя глобальным организациям извлечь еще больше полезной и ценной информации от накопленных данных. Дополнительную информацию об EMC можно найти на сайте www.greenplum.com
О корпорации ЕМС
Корпорация EMC является глобальным лидером, помогающим компаниям и сервис-провайдерам преобразовать свою работу и предоставлять ИТ как сервис. Основой таких преобразований являются облачные вычисления. Инновационные продукты и сервисы EMC ускоряют переход к облачным вычислениям, помогая ИТ-подразделениям более динамично, надежно и экономично хранить, управлять и анализировать информацию, которая представляет для них самый важный актив. Подробнее о EMC можно узнать на сайте www.russia.EMC.com.
О банке «Тинькофф Кредитные Системы»
Банк «Тинькофф Кредитные Системы» основан в 2006 году предпринимателем Олегом Тиньковым для дистанционного обслуживания клиентов на рынке кредитных карт. В середине 2007 года банк приступил к эмиссии кредитных карт. В 2009 году банк начал принимать вклады населения, является участником Системы страхования вкладов.
В 2007 году в число совладельцев банка «Тинькофф Кредитные Системы» вошел международный инвестиционный банк Goldman Sachs, в 2008 году - фонд Vostok Nafta Investment Limited, в 2012 году – Baring Vostok Private Equity Fund IV.
В апреле 2011 года банк «Тинькофф Кредитные Системы» выпустил миллионную кредитную карту, в апреле 2012 года – двухмиллионную. На 1 июля 2012 года банк занимает 5-е место в России по объему портфеля кредитных карт (33,6 млрд рублей) с долей рынка 6,7%.
Чистая прибыль банка по МСФО в 2011 году составила $68 млн.
О компании «GlowByte Consulting»
Компания GlowByte Consulting является активным игроком на рынке BI c 2004 года. Компания фокусируется на внедрении решений в области аналитики и хранилищ данных, что позволяет добиться значительной эффективности по сравнению со средними показателями по рынку. Осуществляет продвижение инновационных решений в области управления большими данными.
О компании «World IT Systems»
Компания WITS является эксклюзивным дистрибьютором решений EMC Greenplum и занимает лидирующее положение в сфере распространения инновационных IT продуктов, оказывающих содействие в управлении ИТ-инфраструктурой крупных организаций. Основной целью компании является предоставление доступа российских компаний к самым современным мировым технологиям.
Последние новости раздела
18 апреля 2024