1. This site uses cookies. By continuing to use this site, you are agreeing to our use of cookies. Learn More.

Немного о сегодняшнем дне

Discussion in 'Вопросы и ответы' started by TGM_darken09, Nov 21, 2012.

Thread Status:
Not open for further replies.
  1. TGM_darken09

    TGM_darken09 User

    Joined:
    25.10.11
    Messages:
    6,762
    Likes Received:
    6,512
    я сейчас смертельно устал и нахожусь в ужасном настроении, но все же нашел в себе силы добраться до компьютера, чтобы немного прояснить ситуацию с сегодняшней профилактикой.

    сразу оговорюсь, что данная тема создана ни в коем случае не для оправданий. я абсолютно согласен с тем, что пользователи могут быть недовольны и могут критиковать команду apb reloaded за невообразимо долгую профилактику, растянувшуюся на целый день. я не собираюсь убеждать и переубеждать тех, кто винит нас в случившемся, я не хочу отрицать своего участия, находить козлов отпущения, кем бы они ни были. случилось то что случилось, и если мы должны нести ответственность - мы будем ее нести. мы постараемся в полной мере компенсировать невозможность пользоваться услугой всем, кто пострадал.

    эту тему я хотел бы адресовать скорее тем, кому интересно то, что происходит внутри проектной команды, внутри администрации, тех, кто руководит игрой, в которую вы играете каждый день. тем, кому интересно, с какими проблемами мы сталкиваемся, какие решения принимаем и к каким результатам это приводит. мне очень захотелось написать об этом, потому что я понимаю, насколько велика разница между взглядом снаружи и взглядом изнутри - особенно в таких ситуациях, как сегодняшняя.

    итак...
    перво-наперво, необходимо сказать о запчастях - тех, которые сегодня появились в магазине армас. дело в том, что каждому игроку с самого начала игры должны быть доступны определенные запчасти для всех машин. однако, из-за ошибки разработчика, персонажи, созданные в патчах до 1.8.0 имели не все доступные запчасти. для того, чтобы решить эту проблему, разработчики сделали 10 комплектов запчастей, которые должны были быть разосланы всем созданным до 1.8.0 персонажам и разблокировать нужные запчасти. признаться, мы достаточно долго откладывали эту задачу, так как она казалась достаточно сложной. однако, с приближением к патчу 1.9.1 выяснилось, что данные комплекты уже не будут существовать (или будут изменены) в будущем патче. перед нами встала задача - как можно быстрее отправить эти комплекты всем нашим пользователям.

    в apb примерно 870 000 персонажей было создано до патча 1.8.0. зная, что разослать необходимо 10 комплектов, нетрудно подсчитать, что это всего около 8 700 000 писем. эмулировать подобное количество на тестовом сервере не представлялось возможным, и все проведенные нам тесты проводились на гораздо меньшей выборке - всего несколько тысяч персонажей. на данной выборке это заняло совсем немного времени - несколько секунд, тесты прошли успешно, и нами был сделан вывод о возможности проведения подобной процедуры на "бою".

    в прошлый четверг, 15 ноября, мы попытались произвести рассылку днем, безо всякой профилактики. к сожалению, в процессе рассылки база данных оказалась перегружена, что привело к невозможности входа в игру. более того, из-за разности порядков выборок стало ясно, что изначальная оценка выполнения данной операции (10-15 минут) была неверной. реальное время для 8,7+ млн транзакций составило более 5 часов.

    в тот момент нами было принято решение остановить процедуру и восстановить работу сервера. рассылку решено было перенести на следующую профилактику, т.е., сегодня, 20 ноября.

    для того, чтобы снизить негативный эффект длительной профилактики, было решено начать ее раньше - с 8.00 мск. по нашим оценкам, 5 часов на выполнение процедуры + 1 час на тестирование и обновление магазина было бы вполне достаточно, и конец профилактики был запланирован на 14.00. кроме рассылки запчастей, мы хотели порадовать наших пользователей обновлением магазина с введением долгожданных "бродяги" и "цитадели", а также скидками на все связанные с ними товары.

    все шло по плану, но ближе к намеченному концу профилактики стало ясно, что процедура рассылки затянется. дело в том, что в какой-то момент ее выполнения количество обращений к базе данных в единицу времени начинает зашкаливать, и скорость самой процедуры немного снижается. вместо 5 часов рассылка длилась около 7,5 часов. скрепя сердце, мы решили идти до победного конца.

    после окончания процедуры рассылки, когда все были уже готовы вздохнуть с облегчением и открыть сервера, нас ждали неприятные новости. по окончанию процедуры серверная программа автоматически начала новую, другую процедуру - осуществления записи о каждом письме, посланном игроку, в базу данных лог-сервера. к сожалению, мы не могли знать о том, что подобная процедура будет осуществлена автоматически - сборка серверного дистрибутива защищена авторскими правами разработчика и является передаваемым нам продуктом, в который мы не имеем права вмешиваться. документация же по такому по не всегда содержит в себе все спецификации и обновления. кроме того, за время существования русского сервера apb мы никогда не сталкивались раньше с задачей рассылки такого количества предметов. для нас новый долгосрочный процесс оказался полной неожиданностью, но несмотря на то, что по новой оценке, профилактика должна была продлиться еще около 3-4 часов, мы все же решили не отступать.

    в 19.30, когда завершился второй процесс, процесс логирования, мы были готовы запустить сервер и открыть его для игроков. однако здесь нас настигла еще одна неприятная новость. по какой-то непонятной задумке разработчика, или просто программной ошибке, вместо завершения процедуры сервер начал ее заново, повторно, перезаписывая уже сделанные логи абсолютно идентичными.

    мы осознавали, что почти потеряли контроль над ситуацией. непонятно было, закончится ли с повторной процедурой логирования весь этот долгий процесс, или же цикл замкнется в бесконечном повторении? после совещания нами было принято нелегкое решение прервать процедуру и сделать откат базы данных на состояние до профилактики, так как процедура была прервана на середине и база могла быть повреждена.

    откат базы данных занял еще около полутора часов. в итоге, мы сумели стабилизировать ситуацию и восстановить работу сервера где-то к 22.10-22.15. недоразосланные комплекты запчастей решено было в срочном порядке ввести в магазин армас по знакомой уже схеме - с ценой в 0 рублей, для того, чтобы не делать этот потерянный день полностью бесполезным. после чего мы произвели плановое тестирование в авральном режиме, провели обновление магазина и с божьей помощью открыли сервер ближе к 23.00.

    мне искренне жаль, что впечатление от всех тех сюрпризов, что мы готовили сегодня, оказалось настолько смазанным из-за случившегося. мне также жаль нашего коммьюнити-менеджера кирилла fakeoff, просидевшего 12 часов параллельно в рейдколле, вконтакте и форуме и пытаясь хоть как-то успокоить наших игроков. мне также жаль всех игроков, которые были разочарованы и разгневаны столь долгой профилактикой.

    нам действительно искренне жаль и мы приносим наши не менее искренние извинения.
     
    Last edited by a moderator: Nov 21, 2012
  2. TheButterfly

    TheButterfly Innova Group

    Joined:
    23.08.12
    Messages:
    964
    Likes Received:
    993
    дааа, кирилл еще и всю ночь сидел в рк, отвечая на одни и те же вопросы, но кто ожидал такое...
     
  3. Juriy

    Juriy Пользователь

    Joined:
    16.02.10
    Messages:
    151
    Likes Received:
    51
    критиковать вас будут только дураки, которые ни капли не понимают, что вы там делаете. и думают лишь "вы хоть что-то там делаете"!?
    администрация хотела как лучше, ну не получилось, и что? а все взяли и разом накинулись.
    бедный кирилл, который больше суток сидел в рк и отвечал на ваши, одни и те же вопросы. и когда была профилактика, успокаивал пользователей.
    спасибо вам команда apb reloaded - россия! мы вас любим. а кричать на вас с воплями, повторюсь, будут только дураки.
     
    TGM_darken09 likes this.
  4. Deadушка APB

    Deadушка APB User

    Joined:
    31.07.12
    Messages:
    13
    Likes Received:
    0
    мда, руофф как всегда с сюрпризами.
    не в обиду сказано, но вам ли гм-мам уставать? нет, в самом деле, на такой вакансии ещё "находить силы". вы там может мешки с картошкой на себе таскаете? или уголь разгружаете? настрадался и устал ит отдел,желязячники, а вашу должность сложно назвать "тяжкой".
     
  5. Panda ^_^

    Panda ^_^ Пользователь

    Joined:
    19.10.11
    Messages:
    292
    Likes Received:
    29
    ты знаешь далеко не всё..
     
  6. TGM_darken09

    TGM_darken09 User

    Joined:
    25.10.11
    Messages:
    6,762
    Likes Received:
    6,512
    it отдел в it компании?
    мы и есть it-отдел в проекте)
     
  7. iBroGame

    iBroGame User

    Joined:
    17.09.12
    Messages:
    591
    Likes Received:
    939
    есть люди, которые в большинстве случаев смотрят на все из-за школьной парты и думают, что вещи вокруг именно такие какими они их себе представляют.
    по сути программеры они все такие, вроде смотришь на них "нифига не делают", но ведь делают что то.
    мне интересно какие сюрпризы в качестве извиняшек будут на этот раз)
     
  8. Портланд

    Портланд User

    Joined:
    31.05.12
    Messages:
    463
    Likes Received:
    37
    спасибо вам,что вы взялись за этот проэкт,и осуществили его! :)
    и дали нам хороший пинг для спокойной игры.
    лично для меня профилактика - отдых от игры :)
    спасибо вам иннова,что вы непокладая рук работаете,устанавливаете обновления,пополняете армас,и устраиваете все возможные ивенты.
    спасибо вам за то что вы есть. и знайте,мы вас любим ^_^.
     
    MasyanyX likes this.
  9. nastya91

    nastya91 User

    Joined:
    19.01.12
    Messages:
    441
    Likes Received:
    677
    на самом деле молодцы) боролись до последнего. кирилл вообще молодец, я целый день сидела в рк и слушала как он отвечает на одни и те же вопросы..... молодцы, что не забиваете, делаете все до победного) пускай не все так быстро, бывают какие-то недочеты, но все равно вы нас очень радуете и действительно я вижу как вы стараетесь) вы любите свой проект, мы любим вас))) спасибо вам) :d

    deadушка apb, ты знаешь, что не только физически устают?
     
  10. iBroGame

    iBroGame User

    Joined:
    17.09.12
    Messages:
    591
    Likes Received:
    939
    это ты под воздействием выпитого вчера со злости пива?)
    по поводу морального выматывания согласен) иногда даже от безделья устаешь сильнее, нежели от физических нагрузок
     
  11. nastya91

    nastya91 User

    Joined:
    19.01.12
    Messages:
    441
    Likes Received:
    677
    я целый день следила за новостями, долго и терпеливо, но под конец, как говориться "чет я психанул".... вчера не поиграли, да и по фиг) сегодня поиграем)
    кто-то работает руками, кто-то головой и тот и другой думает, что у него труд тежелее. друг друга не понять) а кто-то протирает штаны дома на стуле и думает, что все легко...увы и такие тоже бывают. у кого то есть элементарное понимание, у кого-то его нет и т.д.
     
    Last edited by a moderator: Nov 21, 2012
  12. iBroGame

    iBroGame User

    Joined:
    17.09.12
    Messages:
    591
    Likes Received:
    939
    [​IMG]
    до дома бы добраться))
     
  13. Malditos

    Malditos User

    Joined:
    03.03.12
    Messages:
    221
    Likes Received:
    15
    от и до,чистая правда про вашу команду!мы вас уважаем и ценим!крепитесь друзья!

    - - - добавлено - - -

    я извиняюсь,но с вами я не согласен в корне.я работал оператором(головой)сейчас работаю на погрузо-разгрузочных работах и???я уставал больше,где нужно работать головой нежели руками.это депресняк полный от морального труда....

    мы должны быть благодарны парням(и дамам =)) всей компании иннова.спасибо еще раз вам братцы,за старания!
     
  14. TrueRuslan

    TrueRuslan User

    Joined:
    12.11.12
    Messages:
    2
    Likes Received:
    0
    я тоже согласен что критика тут не уместна, мало кто знает как это трудно!
     
  15. Corrado2

    Corrado2 User

    Joined:
    25.03.12
    Messages:
    37
    Likes Received:
    18
    не ошибается только тот, кто ничего не делает!!! а админы и инженеры молодцы, сколько шагов было сделано с риском и импровизацией, но они все равно дошли до победного конца, могло быть и хуже.... все приходит с опытом, тем более это не корейский проект, где все более менее похоже и колея накатана, тут, я слышал, все сложнее ибо игра американская и она со свей спецификой!!! кириллу тоже плюс, много полезных ответов узнали вчера!! ;) одним словом спасибо за вашу работу!!! :good2:
     
  16. Skamik

    Skamik User

    Joined:
    20.01.12
    Messages:
    295
    Likes Received:
    21
    лично я не понял смысл обвесов лично для меня, ниче не открыли, как было доступно стандартное, так и осталось, причем создавался перс задолго до 1.8. или я чего не понял?))
     
  17. Nbloss

    Nbloss User

    Joined:
    30.01.12
    Messages:
    756
    Likes Received:
    194
    по большей мере это все зря было написано, по скольку форум читает маловато людей и тем более все его ветки, очень малое количество юзеров догадывается о сложности и масштабах проделываемой вами работы, но развитым пользователям конечно же очень приятно было это прочитать, такой "отчетности" нет ни в одном ммо проекте и то что наши админы очень часто и много общаются с рядовыми пользователями не может не радовать.
    лично для меня приятно было все это прочитать в развернутом виде.
    а мне даже нравятся такие затяжные профилактики =)
    весь форум в общении, отдыхаешь от конечно же любимой игры, не видишь того срача неадекватных людей в игровом чате, не дохнешь с криком "да как так то?" целостность нервной системы не страдает =)

    в общем отдел apb reloaded самый лучший во всей иннове.
    как где-то оговаривалось "ай лова иннова" =)
     
  18. Kvann2xXx

    Kvann2xXx User

    Joined:
    05.07.11
    Messages:
    147
    Likes Received:
    53
    что с компенсациями?
     
  19. Figure09

    Figure09 User

    Joined:
    13.11.12
    Messages:
    42
    Likes Received:
    24
    когда в вк появлялись новости,меня просто убивали комментарии,так хотелось дать 3х ярусного мата,но понимал,что он ничего не даст ! люди сидят в кресле,играют в игру,что они еще понимают ? они думают что работа сервера,это одна большая красная кнопка,которую нажал и всё работает ... только адекватные люди,понимали что вы там пашете (пусть головой) как проклятые. не обращайте внимание на неадекватных и их комментарии, я лично рад что есть apb rus,рад что вы стараетесь и делаете что-то для нас,спасибо что вы есть !

    p.s. многие еще не понимают, что вы не владельцы игры и многое не можете !
     
    Ysaline likes this.
  20. tryzadrot

    tryzadrot User

    Joined:
    11.02.10
    Messages:
    15
    Likes Received:
    6
    тот же вопрос...
     
Thread Status:
Not open for further replies.