Доклад Бориса Позина "Опыт разработки крупномасштабной катастрофоустойчивой банковской системы" (1/2) на 78 заседании Русского отделения INCOSE, 10 июля 2013г.
2. EC-лизинг
Направления деятельности ЗАО «ЕС-лизинг»
• Разработка и сопровождение катастрофоустойчивых системотехнических платформ для
создания корпоративных центров обработки данных и частных корпоративных
облаков
включая вопросы:
Управления вычислительным процессом и отдельными устройствами
Обеспечения информационной безопасности
• Разработка процессов и систем обеспечения жизненного цикла крупных
информационно-аналитических систем
Автоматизированное тестирование и сопровождение прикладного и системного ПО информационно-
аналитических систем
Реинжиниринг и регламентация процессов жизненного цикла и их автоматизация
• Разработка и сопровождение информационно-аналитических систем
Проектирование корпоративных хранилищ данных на базе отраслевых моделей данных для
банковской и страховой области
Разработка аналитических и статистических отчетов и OLAP – приложений
Поиск в Интернет-источниках и анализ информации на базе технологии IBM BigData
Комплексный анализ структурированной и неструктурированной информации
4. EC-лизинг
4
GM, Citi Bank, MCI, WalMart, Evant, JP Morgan, A/A, Delux, MBUSA Morgan-Stanley, CN
Rail, Man Tech, RiteAid, Kroger, Lawson, Bank of Montreal, Starwood, Verizon, Deutsche Bank,
UNO, Standard Life, Direct Inside, DTS Systems, Gtech, Ingram, Lowes, WellPoint, Fidelity,
ЦБ РФ, ОАО «Газпром», Минсвязи РФ
ЕС-лизинг – системный интегратор ИТ систем
глобальных организаций
Крупнейшие проекты «ЕС-лизинг»:
- территориальное распределение систем,
- часовые пояса,
- работа ЦОД – 24 часа в сутки 7 дней в
неделю
Для повышения эффективности функционирования глобальных организаций и
снижения стоимости владения их ИТ-системами были созданы и внедрены
инновационные технологии
Общими являются глобальные по
геоохвату и размерности
характеристики их ИТ-систем:
Варшавское шоссе, 125
5. EC-лизинг Классификация угроз вычислительным системам
5
Специальные
службы
Главная проблема для
любого правительства
(исключая правительства
стран-производителей)
Частные
лица
Природа Люди
6. EC-лизинг Угрозы основной инфраструктуре государства
Угрозы
разрушению
инфраструктуры
6
Армия Транспорт Финансы
Добыча
ископаемых
Энергетика Коммуникации
7. EC-лизинг Что угрожает доступности ИТС
Характер угрозыХарактер угрозы % случаев% случаев Требования к ИТС по отражениюТребования к ИТС по отражению
атаки на доступностьатаки на доступность
Умышленные нападения (теракты) 17% Катастрофоустойчивость
Пожары 17% Катастрофоустойчивость
Ураганы 14% Катастрофоустойчивость
Землетрясения 11% Катастрофоустойчивость
Отключения электроэнергии 10% Отказоустойчивость
Выход из строя программ 9% Отказоустойчивость
Наводнения 7% Катастрофоустойчивость
Выход из строя техники 5% Отказоустойчивость
Персонал + Прочие 10% Политика безопасности
Статистика причин простоев платежных систем в банках
по данным МВФ за период с 1997 года
7
8. EC-лизинг
8
Каковы факторы риска для доступности компьютерной системы
Статистика причин выхода из строя платежных систем банков в
соответствии с данными МВФ за 1997 год
66% угроз – требуют катастрофоустойчивых решений
24% угроз – достаточно отказоустойчивых решений
10% угроз – могут быть парированы политикой безопасности
?% угроз (правительственный уровень) – отдельная история
9. EC-лизинг
9
Одна точка
зеркалирования
(защиты)
Централизованная
с виртуализацией
Один сервер,
один имидж ОС
Децентрализованная
Много серверов,
много имиджей ОС
Много точек зеркалирования (защиты)
Одна точка
зеркалирования
(защиты)
Один сервер,
много имиджей ОС
Централизованная
клиент
Направление эволюции архитектуры во времени
К выбору катастрофоустойчивых серверных архитектур
Три типа серверных архитектур
10. EC-лизинг
10
СопоставляемыеСопоставляемые
характеристикихарактеристики
ЦентрализованнаяЦентрализованная ДецентрализованнаяДецентрализованная
Централизованная сЦентрализованная с
виртуализациейвиртуализацией
Характеристика
архитектуры
сервер/имидж
1/1 N/N 1/N
Защита от НСД между
процессами
Средняя
Высокая
(отдельно стоящее
устройство)
Высокая
(отдельно стоящее
устройство)
Масштабирование в
жизненном цикле
Простое
(модернизация в
одной точке)
Сложное
(инженерная задача)
Простое
(модернизация в
одной точке)
Распределение ресурсов Динамическое Статическое Динамическое
Управление серверами Простое Сложное Простое
Обеспечение
катастрофоустойчивос
ти
Простое
(одна точка защиты)
Сложное
(много точек защиты)
Простое
(одна точка защиты)
К выбору катастрофоустойчивых серверных архитектур
Три типа серверных архитектур
11. EC-лизинг Потенциально возможные уровни безопасности для разных
платформ
z/OSz/OS
Top CMTop CM
z/OSz/OSLinuxLinuxUNIXUNIXMSMS
Тип
угрозы
MS UNIX Linux z/OS z/OS
ISX
Природа
Люди
(частные лица)
Люди
(правительство)
Вирусы и черви В+Ч Ч Ч Нет Нет
+ (положительно)
+/- (более
положительно)
-/+ (менее
положительно)
- (отрицательно)
Top CM
Сертифицировано
Требование:
Прикладные системы должны использоваться на любой из платформ - оставляет
свободу для будущего маневра
Платформонезависимость = стратегическая устойчивость
11
12. EC-лизинг
Выводы
12
1. Угрозы приводящие к сбоям электроснабжения компьютерных
систем, существуют и вызваны двумя источниками: природой и
человеком.
2. МВФ сохраняет статистику угроз в банковской области, за
исключением угроз со стороны разведывательных служб.
3. Защита от атак со стороны разведывательных служб является
наиболее сложной, поскольку производители компьютерных систем
действуют на стороне разведывательных служб своих стран. В
других случаях производители действуют на стороне покупателей
(приобретателей) компьютерных систем.
13. EC-лизинг
13
1. Снизить стоимость владения ИТС (на период 10 лет)
2. Снизить требования по численности и квалификации
персонала ИТС
3. Повысить доступность ИТС, в том числе в форс-мажорных
обстоятельствах (катастрофоустойчивость)
1. Снизить стоимость владения ИТС (на период 10 лет)
2. Снизить требования по численности и квалификации
персонала ИТС
3. Повысить доступность ИТС, в том числе в форс-мажорных
обстоятельствах (катастрофоустойчивость)
Консолидация
серверов
Разгрузка
клиентов
Централизация
и
виртуализация
архитектуры
системы (ФРЦ)
Цель оптимизации:
Постановка задачи по оптимизации
технико-экономических параметров ИТС ЦБ РФ – разработка ФРЦ
(макроуровень системы)
1. Повышение использования (КПД)
вычислительной мощности ИТС
(переход от статического к
динамическому распределению
ресурсов серверов)
2. Упрощение ИТС (сокращение числа
блоков и связей , упрощение
массовых элементов архитектуры)
Способы оптимизации - модернизация ИТ-инфраструктуры
14. EC-лизинг
Оперативный
Уровень
Тактический
уровень
Стратегический
уровень
Текущее состояние
Сбор данных
и отчетность
по процессам
и проектам
Сбор данных и
отчетность по
роцессам и бизнес-
целям
Корпоративное
Хранилище
КХД
Стратегическое
руководство
Тактическое
руководство
Руководство
департаментов,
отделов,
сотрудники
Сбалансированная
система показателей
Ключевые
показатели
эффективности
деятельности
Документооборот,
прогноз, мониторинг
Центр обработки
данных
Первичные данные о материальных и финансовых потоках
Дочерние предприятия
Сбалансированная
система показателей
Первичные данные о материальных и финансовых потоках
Целевое состояние
Время сбора данных – дни, месяцы
ЦОД – 42
Серверов – 5754
Баз данных – 11058
Передач информации – 8-11
Документооборот,
прогноз, мониторинг
Время сбора данных – часы
ЦОД – 1 (+1) Серверов – 1 (+1)
Баз данных – логическая 1
Передач информации – 1
Ключевые
показатели
эффективности
деятельности
Дочерние предприятия
Стратегическое
руководство
Тактическое
руководство
Руководство
департаментов,
отделов,
сотрудники
Все потоки
управленческих
данных
Централизация обработки и анализа данных – основа для
повышения качества бизнеса
Архитектура потоков данных
15. EC-лизинг
15
Закупается и
обслуживается
100% ресурсов, а
используется только 3%
(средства, численность)
Уровень архитектурыУровень архитектуры
Число архитектурныхЧисло архитектурных
элементовэлементов
ИспользованиеИспользование
созданных мощностейсозданных мощностей
(КПД(КПД))
Основные серверы 78 x 4 = 312 15% - 20%
Вспомогательные
Intel-серверы
10 000 8% - 11%
Клиенты 100 000 1% - 1,5%
97%
≈3%
Цель – повысить КПД!
Полезные
мощности
Полезные
мощности
Неиспользуемые
мощности
Неиспользуемые
мощности
(резервы оптимизации на макроуровне)
2002 год
Использование вычислительных мощностей
в клиент-серверной архитектуре ЦБ РФ
Пример ЦБ РФ: в децентрализованные системы ходить не
надо!
16. EC-лизинг
16
Способы оптимизации – модернизация
ИТ-инфраструктуры
16
Консолидация
серверов
Разгрузка
клиентов
Централизация
и
виртуализация
архитектуры
системы (ФРЦ)
1. Повышение использования
(КПД) вычислительной мощности
ИТС (переход от статического к
динамическому распределению
ресурсов серверов)
2. Упрощение ИТС (сокращение
числа блоков и связей ,
упрощение массовых элементов
архитектуры)
17. EC-лизинг
17
Консолидация
UNIX серверов
Тонкие клиенты
Linux, Windows
Клиенты
Intel серверы
Консолидация
Intel серверов
Перенос функций
На UNIX серверы
Перенос функций на
Intel серверы или
UNIX-серверы
Linux – мост
между UNIX
и Intel
серверами
Разгрузка клиента
zSeries
pSeries
xSeries
Tivoli
Websphere
WBI MB
Rational
IBM BDW
Data Stage
Статическое
распределение,
UNIX нагрузка
Серверы КЦОИ
Динамическое распределение,
Windows + Linux нагрузка
Динамическое
распределение,
zOS USS + Linux
нагрузка
1
2
3
4
5
Целевая архитектура ФРЦ (централизованная с
виртуализацией, тонкие клиенты)
17
18. EC-лизинг
18
2003 – Децентрализованная обработка данных
• 78 ВУ ГУ
Оптимизация инфраструктуры на примере ЦБ РФ
Пример глобальной системы до централизации
19. EC-лизинг
19
- Обработка на КЦОИ-1
- Обработка на КЦОИ-МР
Распределение регионов РФ по Центрам обработки в
2012 Пример глобальной системы после централизации
2012 – Централизованная обработка данных
• 2 Центра обработки данных
• 2 точки хранения данных
• КХД и ЦИАС
• 2+2 z/IBM в двух КЦОИ обрабатывают все платежи ЦБ
20. EC-лизинг
20
ВК2ВК2 ВК4ВК4
ВК3ВК3 ЦУ1ЦУ1ЦУ1ЦУ1
ЦУ2ЦУ2
ЦУ3ЦУ3
ЦУ2ЦУ2
ЦУ3ЦУ3
> 1000 км
> 10км
Система 1 Система 2
ВК1ВК1
Принципы реализации:
1. Катастрофа –
поражение одного
города из 2-х –
(допускается
совмещение ресурсов)
2. Две машины одного
города (гантель)
обеспечивают горячее
резервирование и
компенсацию в случае
локальных катастроф
3. Одна машина другого
города служит
холодным резервом
для гантели
4. Третий состав
персонала системы
располагается в других
городах
Каждая из систем, работоспособна, если жив хотя бы один из трех ВК,
один из трех ЦУ
Проект 2003: Схема полной связности
для 2-х систем
21. EC-лизинг
21
Модернизация архитектуры платежной системы
ЦБ РФ в 2002-2012
ПараметрПараметр Было вБыло в
20022002
Было вБыло в
20072007
Было вБыло в
20201212
ПримечаниеПримечание
1 Число эксплуатируемых
платежных систем
12 3 1
12 раз
2 Число ВЦ ГУ,
обрабатывающих УОС
78 3 2 39 раз
3 Число UNIX серверов ГУ,
обрабатывающих УОС
234 6 4 58 раз
4 Использование оборудования
в течение 24-х часов (КПД
архитектуры)
17% 67% 85% 5 раз
5 Катастрофоустойчивый
режим обработки
транзакций (по числу
транзакций)
0% 77% 100% Новое
свойство
архитектуры!
22. EC-лизинг
22
Сенаторову Михаилу Юрьевичу, доктору технических наук, заместителю
председателя Центрального банка Российской Федерации (Банк России),
руководителю работы, Козлову Александру Николаевичу, кандидату
технических наук, заместителю начальника Главного управления Банка России
по г. Санкт-Петербургу, Кудряшову Александру Андреевичу, заместителю
начальника Главного управления Банка России по Нижегородской области -
начальнику управления "Коллективный центр обработки информации - 1",
Курило Андрею Петровичу, кандидату технических наук, доценту,
заместителю начальника Главного управления безопасности и защиты
информации, Михайлову Сергею Федоровичу, кандидату технических наук,
заместителю директора Департамента информационных систем, Нагибину
Сергею Яковлевичу, доктору технических наук, директору того же
Департамента, - работникам того же Банка; Беленкову Виктору
Геннадьевичу, кандидату технических наук, ведущему научному сотруднику
учреждения Российской академии наук Институт проблем информатики РАН,
Будзко Владимиру Игоревичу, доктору технических наук, заместителю
директора, Быстрову Игорю Ивановичу, доктору технических наук,
заведующему отделом, - работникам того же учреждения; Шмиду Александру
Викторовичу, доктору технических наук, профессору, председателю правления
закрытого акционерного общества "ЕС - лизинг", - ЗА СОЗДАНИЕ
КАТАСТРОФОУСТОЙЧИВОЙ ТЕРРИТОРИАЛЬНО-РАСПРЕДЕЛЕННОЙ
СИСТЕМЫ ЦЕНТРАЛИЗОВАННОЙ ОБРАБОТКИ ИНФОРМАЦИИ БАНКА
РОССИИ.
ЦБ РФ, ИПИ РАН, ЕС-лизинг