— Давай, посмотри, послушай, но не мешкай! Жопа полная.
Смотреть Ростецкий долго не стал, он, скорее всего, с полминуты просто подумал о том, как бы начать беседу и обратился к IT-директору.
— Я понимаю, что Вы сейчас не расположены отвечать на дурацкие вопросы, но позвольте задать их в количестве не более десятка, для понимания картины происходящего.
— Договорились.
— Первое — где контора-дистрибьютор, которая поддерживает оборудование?
— Где-где!? — Последовал русский народный рифмованный ответ, и совершенно без всяких скидок на присутствие высшего начальства. Тендерный комитет, (далее последовал вообще пятиэтажный мат), задешево выбрал контору в Питере, так как мы не смогли доказать им, то что не стоит оказывать поддержку по конфигурированию оборудования только удаленно. В результате и с местными отношения испортили, и они из Питера удаленно не могут подключиться, да какой там они! Мы даже сами до отдельных участков сети в промежутках между зависаниями и то долезть не можем!
Николай было удивился тому, что у председателя лишь дернулись брови при упоминании тендерного комитета, но он на это даже ничего и не сказал! Однако! От удивления он чуть было не прослушал Ростецкого.
— Второе. То, что все работает не больше 2–3 минут, это и мне из разглядывания своего телефона ясно. Перезапуски, очевидно, не помогают?
— Ни х… рена…
— Т.а.а.а. к… Не работает сейчас, я так понимаю все — и Москва и регионы?
— Именно!
— А отключить регионы можно?
— На кой бы их отключать? Сколько от них нагрузки с каналами по 128 килобит… Ну, правда, там может быть еще что-то от шифрования трафика в виртуальной сети, но тоже немного.
— Рубите! Что так, что так не работают. Если все будет продолжать висеть — поделим Москву на части, для понимания того, где именно глючит, но вот если начало центральные маршрутизаторы колбасить…
— И думать об этом не хочу! Отрубайте регионы, заодно давайте напишите им в аську, чтобы на всякий случай загасили все свичи.
— Погасили региональный вход и VPN! (виртуальная частная сеть) В аську всем отписали.
— Так. Перезапускаем все оставшееся, до чего сумеем дотянуться.
Прошло пять мучительных минут. Сеть работала! Лицо IT-директора из серого очень быстро становилось красным, то ли от стыда, то ли от ярости — конкуренты его уделали, да еще и при руководстве банка. Скорее всего, присутствовали оба компонента, но пропорция их была не ясна.
— Хорошо. Жить начали, теперь надо разбираться дальше. Пишите в аську в регионы всем, что если какие обалдуи срочно не погасят питанием свои свитчи, и после этого начнут баловаться с их включением без команды, то получат от всей души и не только от вас, благо, тут есть… очень интересующиеся люди.
— В двух филиалах нет никого. Владивосток и Петропавловск, поздно уже было, разбежались.
— Хрен с ними. Ждем пять минут, пока остальные там с выключением телятся. Включим, подождем пять минут, чтоб проверить, что это не в тех городах. Заодно посмотрим, кто еще там чего не выключил и дадим тумаков.
Десять минут тянулись достаточно долго. Все продолжало работать, регионы, которым по аське отписали про то, кто именно очень интересуется ходом работ, вырубились абсолютно все, отъявленных мазохистов, желающих попасть на примету к председателю правления, не оказалось.
— Заводим таблицу. Владивосток, Петропавловск отмечаем галками, дальше… Дальше надо Европу включать, потому что Азия у нас спит уже. Давайте Калининград, Питер, Воронеж и пять минут ждем. По ходу… отмечайте время, когда там включились. Потом еще тройку. Будем идти на восток потихоньку.
Европа заводилась нормально и после нее вовсю двинулись в Азию. Новосибирск, Омск, Красноярск… Николай уже начал было думать о том, что это был какой-то неповторяемый и необъяснимый глюк. Такие ведь тоже бывают, как вдруг…
— ПАДАЕМ!!!
— Стоять! Регионы отрубить на хрен, перезапустить центральные маршрутизаторы, да и все остальное перезапустить тоже не повредит. Последние три региона вырубить по питанию! Кто там, Хабаровск, Благовещенск… кто еще?
— Иркутск!
— Пишите по аське, чтоб там все гасили. Остальным сказать перезапуститься.
— Перезапущенное сетевое оборудование завелось довольно быстро. После десятиминутной паузы все работало без сбоев.
— Давайте осторожно включать остальные регионы. С теми тремя потом разберемся.
— Да из остальных Якутск только один остался, сейчас включим.
Прошло еще пять минут, все было нормально.
— Так-с… Мы имеет трех потенциальных злодеев. Подцепиться к ним безопасно как-то сможете?
— Попробуем… Без рабочего VPN тяжело, мы ж их и тут на входе отрубили, чтобы в сеть не нагадили. Сейчас что-нибудь придумаем, с провайдерами поговорим… Надо, кстати, в регионы написать, чтоб поискали кабели, пусть сами подключатся, если сумеют, а мы по телефону будем спрашивать да и говорить, что им там жать.
— Какой телефон? Там же отрублено все!
— От себя им на мобилу позвоним! У нас ведь работает уже.
— И то правда…
Минут через двадцать связисты подцепились ко всем трем включенным коммутаторам. Началось внимательное изучение их конфигурации, по мониторам в окнах терминальных программ вовсю бегали вверх-вниз белые, желтые или зеленые строки, в зависимости от склонности хозяина к разным цветам.
— ТВОЮ Ж МАТЬ!!!
Ростецкий и IT-директор, как по команде, рванулись к голосившему и уставились на монитор.
— Да… Это ж сколько лет он с этим спящим неправильно выставленным параметром работал?
— Четыре с большим хреном.
— Стопудово, что подключавший тогда заметил не то, дал местным по рукам, подправил, но рабочую конфигурацию в стартовую забыл скопировать. Вот после перезапуска почти через пять лет и прилетело…
— Еще как прилетело…
— Так — раздался голос председателя. Проблему, я так понял, нашли.
— Именно.
— Николай, доложишь мне позже, сейчас нечего народ грузить. Остальные… Кто в состоянии из коммуникаторов дежурить — посмотрите и решите сами, на месте остальных освободившихся я бы немедленно выпил водки. Разрешаю прямо здесь, сейчас секретарше звякну. Да и мне бы самому, кстати, совсем не помешало… Физиономии у Вас всех выглядят чрезвычайно «не очень».
Минут через пять совершенно обалдевшая секретарша притащила две бутылки Абсолюта и дюжину рюмок на подносе.
— За меня уже можно пить, не чокаясь — раздался голос IT-директора.
— Да и за меня тоже… — произнес начальник отдела телекоммуникаций.
— Успокойтесь! Пьем чокаясь и за то, чтоб такое не повторилось. Я сказал!
После такого решительного указания все было сделано именно так, как сказано.
Глава 35
На следующий день Николай Старостенко зашел на доклад к председателя правления. Он практически на 100 % был уверен, что доклад окажется совершенно необычным и понял, что не ошибся, услыхав вопрос председателя
— Что вчера было-то? Рассказывай!
— Такого и нарочно не придумаешь. Восстановили картину произошедшего и поняли, что там случилось…
— Говори!
— Началось все чуть позже двенадцати часов, когда в сети взялся то ли вирус, то ли просто проскочил пакет данных неверного формата, от которого некоторые сервера баз данных начали забивать сеть левыми пакетами. Так как каналы связи забились, сеть легла намертво. Минут 15 потратили на то, чтобы разобраться в том, кто в сеть гадит, сервера те вообще выключили, и решили, чтобы быстрее запуститься, перезагрузить все сетевое оборудование. Коммутаторы (или как их по-английски называют, свитчи), ведь пока протолкают все загадившие сеть левые данные в регионы по медленным каналам… Все оборудование перезапустили и началась история почти на пять часов.
— Вот эта история мне особо интересна! Виноват-то кто?
— Для начала, что именно было. Сейчас попробую попроще рассказать, не знаю получится ли, спрашивайте, если что. Все свитчи cisco в сети имеют свой приоритет, который задается параметром spanning tree, его и не перевести. Благовещенск — наш первый филиал, на нем все отлаживали. Свитч крутили не только наши и, скорее всего, местные автоматизаторы тоже туда руку приложили, а у них, как и у всех айтишников, правило работы с незнакомыми параметрами простое — если не знаешь, что какой параметр делает, ставь его значение в ноль. Беда оказалась в том, что этот самый ноль означает то, что коммутатор самый главный. Вот и получилось, что вся сеть банка пыталась работать через канал в 128 килобит и пролезть к главному коммутатору в Благовещенск. Не получалось, естественно, ничего путного, и все висло.
— А как получилось, что это четыре с чем-то года не нашли?
— Очевидно, что этот параметр поправили в рабочей конфигурации, но не скопировали в стартовую. Ошибка распространенная и допускаемая довольно часто. Вот Благовещенск и работал почти пять лет, а как понадобилось оборудование перезагрузить, и вылезла не сохраненная стартовая конфигурация с ошибкой. Сейчас даже сложно сказать, кто именно накосячил — местные или тамошние. К тому же, все, кто мог это натворить, уволились уже, что у в центральном офисе, что в Благовещенске. Сейчас все стартовые конфигурации коммуникаторы изучают и обнюхивают со всех сторон, но это уже, как говорят американцы, закрытие ворот после угона всех лошадей…
— Ох, дать бы им хорошенько…
— Вот поэтому разобравшийся в этом деле в коммуникаторы не пошел. Он всегда говорит, что у начальства к связистам есть только один вопрос «какого они тут делают?», только задаваемый или спокойно, или очень нервно.
— Эх, Коля… Умом-то это, конечно, понимаешь, но руки все равно чесались… Еще пара часов ожидания и точно бы схлопотали. Хотя, по большому счету, они могут быть в причинах самого происшествия не виноваты. Знаю, но доказать не могу.
Николай непонимающе посмотрел на председателя. Тот, поняв безмолвный вопрос, включил видеомагнитофон, отмотал кассету назад, запустил воспроизведение, и на экране показался фрагмент интервью председателя правления Элдет-Банка. После просмотра Николай непроизвольно почесал в затылке