С ноября платформа Фогейм периодически подвергается серьезным DDoS-атакам, из-за чего у некоторых пользователей возникают проблемы с большим пингом, потерями пакетов, разрывами соединения с сервером и невозможностью быстро вернуться в игру. Вместе с главой отдела информационной безопасности компании Иннова @Radix мы хотим ответить на самые популярные вопросы игроков, связанные с атаками. Вопрос: Что вообще такое эта ваша ддос-атака на Фогейм? Ответ: Любой ресурс - сайт или игровой сервер может справиться только с ограниченным количеством запросов одновременно. DDoS в нашем случае “повторяет” действия нормальных пользователей, которые заходят на наши сервера. Причем таких запросов очень много - в 20 раз больше пикового онлайна в Dota 2 или в 4 раза больше пикового онлайна в Fortnite. Можно представить, что все их пользователи “зашли” к нам одновременно. Оборудованию становится плохо от такой огромной нагрузки, и оно начинает общаться с пользователями либо очень медленно (лаги), либо вообще перестает отвечать (дроп). Спойлер: Подробнее о нюансах DDoS-атак на игровые сервисы Законы физики работают даже для Фогейма. Если в наши сетевые каналы "наливают" больше трафика (https://blog.cloudflare.com/inside-mirai-the-infamous-iot-botnet-a-retrospective-analysis/), чем они есть, то игровым сервисам становится очень плохо. Часто в этой ситуации наши провайдеры идут нам навстречу и расширяют канал, позволяя фильтровать и очищать больше трафика. Все игровые проекты очень зависимы от качества связи и очень чувствительны к качеству соединения. Потеря всего нескольких пакетов может привести не только к сильным лагам, но и к разрыву игровой сессии. А для игр зачатую это равнозначно потере игрового прогресса и необходимости перезахода в игру. У наших партнеров-провайдеров, а также на нашем защитном оборудовании есть множество очень классных опций (https://www.cisco.com/c/en/us/about...s/table-contents-34/syn-flooding-attacks.html), которые легко отфильтруют атаку, скажем, на сайт (при этом страничка может быть недоступна короткое время и потом просто перезагрузится), но для игр мы такие опции применить не можем, т.к. даже кратковременный разрыв сессии - это дроп из игры. Мы сейчас активно сотрудничаем с вендорами защитных решений, чтобы подружить наши игры с такими мощными опциями, как описано в статье выше. Вопрос: Что вы делаете для того, чтобы отразить атаки? Ответ: Если коротко и максимально простыми словами, то мы используем как программные методы, так и физическое оборудование для защиты, разрабатываем собственные программы для защиты от ддос, общаемся с производителями анти-ддос защиты, пробуем их оборудование у себя в дата-центре (если оно нам подходит, то докупаем к тому, что уже есть), постоянно взаимодействуем с провайдерами, чтобы они помогали нам защищать сервера. Спойлер: Подробнее о том, какие защитные решения есть на вооружении нашей команды Мы уделяем большое внимание качеству игрового соединения с нашими серверами, поэтому постоянно работаем над расширением каналов связи и поиском партнеров по пирингу. С какими провайдерами мы "дружим", каковы их технические характеристики и наш общий рейтинг среди провайдеров по связности и уровню защиты Вы сможете найти тут: https://radar.qrator.net/as49813. Qrator Labs - достоверный источник, уважаемая компания и надежный партнер, можете им смело верить. Если по каким-то причинам вашего провайдера нет тут: https://radar.qrator.net/as49813/peerings (из-за ошибок в конфигурации сети и т.п.), информация от вас поступает к нам по не оптимальному маршруту, а в игре при этом сильно лагает, то напишите нам в Службу Поддержки - информацию должны будут передать в наш сетевой отдел, который будет содействовать решению вопроса. Нередки ситуации, когда мы вместе с пользователем связываемся с вашим провайдером и устраняем проблему. Продиагностировать свое соединение вы также можете с помощью ресурса: http://trace.inn.ru/ и утилиты: https://www.check4game.com/, а специалисты технических разделов этого форума всегда помогут вам правильно понять полученный результат. Наши сети и ресурсы достаточно часто атакуют и сканируют на наличие уязвимостей (в день может быть до нескольких инцидентов). Справляться с этим нам помогают партнеры и специализированное защитное оборудование. О проблемах техническая команда также узнает из разных источников: нашей системы мониторинга на основе https://grafana.com/ (при необходимости разбудит ответственного инженера по почте, смс или написав ему в мессенджер) и, конечно, от пользователей через наших коллег из игровых проектов (ваш комьюнити-менеджер моментально найдет любого нужного специалиста, даже если последний в отпуске, забрался на Эверест а мобильник утопил в кружке пива). Наши партнеры-провайдеры используют разные средства для защиты каналов связи от атак. Это огромные и мощные комплексы операторского класса, настройкой и обслуживанием которого вместе с нами занимается команда провайдера. Также они предоставляют нам услугу SOC: https://en.wikipedia.org/wiki/Information_security_operations_center - дежурная смена доступна круглосуточно и реагирует на атаки, предлагая оптимальные пути выхода из самых затруднительных ситуаций. Наши коллеги, являясь магистральными операторами связи, имеют огромный опыт реагирования на все классы атак. Посмотреть, что это за оборудование и как организована защита с их стороны можно, например, тут: https://habr.com/company/rostelecom/blog/325138/ и здесьhttps://www.anti-malware.ru/reviews/DDoS_attack_prevention_Perimetr. Мы понимаем, что оператор не сможет спасти нас ото всего, поэтому постоянно взаимодействуем с поставщиками защитного оборудования, пробуем предлагаемые ими решения. За все время нам удалось поработать с решениями компаний Cisco (https://www.cisco.com/c/ru_ru/about/press/press-releases/2016/11-15.html), Juniper (https://www.juniper.net/us/en/products-services/security/srx-series/), F5 networks (https://www.f5.com/services/resources/glossary/load-balancer), Huawei (https://e.huawei.com/ru/products/enterprise-networking/security/anti-ddos) и многих других. Сделать нашу инфраструктуру устойчивее нам также помогают такие технологии как CDN (https://ru.wikipedia.org/wiki/Content_Delivery_Network), SDN&NFV (https://www.xcloudnetworks.com/ & https://cumulusnetworks.com/products/cumulus-linux/). Мы знаем что такое HAProxy (http://www.haproxy.org/) и не боимся ELK (https://www.elastic.co/elk-stack), также нам не чужды концепции DevSecOps (https://www.osp.ru/cio/2016/03/13049098/). При этом мы остаемся командой, которая очень хочет научиться гораздо большему и инвестировать только в самое лучшее оборудование и программное обеспечение. Поэтому, если у вас есть предложение, совет, как нам стать сильнее, или вы являетесь поставщиком / интегратором решений безопасности или нашли проблему в нашей инфраструктуре или приложениях - напишите напрямую @Radix на форуме или адрес isec@inn.ru - обязательно все обсудим детально. Опыт эксплуатации различных систем безопасности ("защитные железки") говорит нам о том, что к атакам должны быть готовы не только сервера и оборудование, но и работающие на них приложения и сервисы. Так например, перед тем, как попасть на игровой сервер, трафик проходит через Фрост-сервера, которые проверяют сигнал на корректность, не пуская злоумышленника дальше. Программные решения, как правило, на порядки слабее железных и "слишком много" не выдержат, но иногда они выручают когда все остальное отказало или не может быть применено. Вопрос: Почему несмотря на все принятые меры атаки продолжаются и периодически достигают цели? Мощность атак очень велика (см 1-ый вопрос), наши игры разрабатывались в то время, когда подобная нагрузка была в принципе невозможна, поэтому они плохо реагируют на применение защитных мер. Зачастую мы не можем использовать крутое железо, т.к. игра с ним не работает (пользователи начинают вылетать). Атаки идут со стороны провайдеров, у которых есть наши настоящие пользователи, и если мы просто заблокируем атаку, то мы заблокируем пользователей этого провайдера. В последнем случае нам приходится разбираться с провайдером, и мы зависим от них. Вопрос: Почему во время DDoS-атаки продолжает работать сервер? В результате я получаю штраф за смерть, а противники остаются в игре и получают преимущество. Ответ: Атаки не достигают игрового сервера, плохо становится самой сети внутри дата-центра от перегрузки. Информация начинает поступать на игровой сервер медленно и с потерями, что может привести к лагам или дисконнекту (в зависимости от того, в какой момент застала атака и какая информация потерялась или шла медленно). В наших играх нет функции автоматического восстановления соединения с сервером (например, при временной потери соединения) или автоматического логина в игру (чтобы не нужно было перезаходить). Мы совместно с партнерами-разработчиками обсуждаем их добавление, но этот процесс может занять продолжительное время. Вопрос: Почему после отражения атаки у некоторых пользователей все равно продолжаются проблемы? Ответ: К сожалению, не существует идеальной защиты, которая бы полностью отражала атаку вообще без последствий для пользователей (если вдруг у вас есть конкретные предложения и советы, то напишите нам isec@inn.ru). Защитное оборудование может неверно определить страну и заблокировать пользователя, если у вас неверно отображается геолокация. Некоторые провайдеры используют взломанные устройства, которые нас атакуют, и из-за этого оборудование может заблокировать сеть такого провайдера. Поймав на компьютер вирус, вы также можете стать частью атакующего ботнета. В случае продолжения проблем после отражения атаки вам стоит обратиться в Службу Поддержки за помощью. Вопрос: Какие дополнительные меры по улучшению защиты вы планируете предпринять? Ответ: Мы работаем над улучшением защиты со стороны Frost (систему защиты научат различать игровой трафик и пакеты атакующего) и со стороны приложения Фогейм Центр (лаунчер будет следить за тем, чтобы не было лагов от самой защиты при атаках). Вопрос: У меня есть сведения, которые могут помочь вам в улучшении защиты от атак, куда мне обратиться? Ответ: isec@inn.ru - единая точка входа по всем вопросам защиты (сотрудничество, хочу работать, информация или вопросы).
