"А судьи кто?!" - О "профессиональной" критике на MyIndie Lvl 10, ИИ-триггерах и культуре фидбека

Я написал этот пост до объявления победителей и теперь - Поздравляю победителей джема! =)

В рамках оценки джема NecroTech.exe я получил разбор, который позиционируются как экспертное мнение. Но вместо конструктивной критики я столкнулся с классическим сетевым снобизмом. Хочу публично разобрать этот фидбек, чтобы подсветить проблему судейства на данном джеме. Такое поведение не профессионально и не должно в принципе приниматься как должное на такого рода мероприятиях.

Давайте на чистоту.

1. В соло я конечно воин, но с ограничениями.
2. Я пытался сделать больше, чем реально мог.
3. Я понимаю, что на геймджеме оценивается итоговый результат, а не мои затраченные усилия (на которые всем всё равно).

читать тут - https://myindie.ru/games/game/necrotechexe

0. Оценка 1.5 попадания в тему геймджема как пример халатного отношения.

Давайте разберёмся насколько я не попал в тему геймджема.
Поставить полтора балла за тему при моем концепте - это расписка в том, что критик оценивал игру спинным мозгом, полностью проигнорировав нарратив и геймдизайн.

В NecroTech.exe тема раскрыта сразу на четырёх уровнях!
Ролевой - Мы играем за лича - каноничного злодея/босса в игре по умолчанию, чей замок штурмуют "силы добра" воины света.

Нарративный - лич сам сотворил своего главного врага. Он отказался от магии, ради экономии сократил весь персонал стартапа и допустил запуск навайбкоденной системы безопасности, которая из-за багов признала врагом своего же владельца!

Геймплейный - Поскольку магии у лича нет, он беззащитен против воинов света. Турели и ловушки наводятся и атакуют только игрока. Весь геймплей строится на том, чтобы маневрировать и подставлять наступающих врагов под огонь, который ведется по тебе. Игрок здесь - ультимативный враг самому себе. 

Механический - Механика "Враг - это ты" заключается в активации ловушек.

Поставить за это 1.5 балла можно только в одном случае: если закрыть игру на первой минуте, судорожно прокликать все диалоги и даже не попытаться понять, почему турели стреляют в персонажа. Это не игра "не попала в тему", это играющий не попал в логику проекта.

И обратите внимание, что у этой оценки нет аргументации от слова совсем! А почему? А за что?
Попадание в тему джема крайне важно! Ведь за непопадание можно и исключить!

Тут можно было бы и остановиться, но давайте изучать дальше.

1. ИИ-хейт.

"слишком нарочито-нейронная обложка. Проблема не в нейронке, в разных стилях, плотной композиции без явных акцентов - она проято тяжёлая к восприятию."

Как обложка может быть нарочито нейронная? Она нарочито сгенерирована?
Далее, не понятно о чём речь - про обложку или в принципе арт в игре.
Давайте разбираться...

Если мы говорим про обложку, то
1. Стиль у обложки один
2. Композиция в кадре нормальная, если видеть полный кадр - сайт обрезает обложку и её нет возможности подвинуть. Я не понимаю этой претензии в принципе.

Если мы говорим про весь арт в игре, то
1. Весь арт генерировался на основе обложки и используемых ассетов.
2. У всех ассетов разный стиль и я пытаюсь всю игру над этим иронизировать. Это стилистический выбор. Не просто так в названии слово "slope" зачёркнуто - я понимал, что я делаю.
3. Арт стиль генерации действительно поплыл в экранах победы и поражения, но я не уверен, что автор фидбека их видел. Но как бы я не просил нейронку следовать стилю - она не хотела ни в какую, а сроки уже подходили.

Если бы автор ревью читал мой девлог, то он бы знал почему арт сгенерирован и почему он такой.

Как итог: Правила джема MyIndie официально разрешают использовать ИИ. Но критик с первых секунд заходит на страницу с предвзятым настроем. Вместо оценки того, как арт работает на общую тему, включается режим точечного поиска изъянов. Если бы этот же арт был нарисован вручную в аналогичном стиле, этой придирки в фидбеке бы просто не существовало. Это не критика дизайна - это личный триггер на ИИ, который я встречаю на этом джеме повсеместно.

2. Домыслы вместо фактов и обвинения в халтуре.

"Делать игру на английском - это задел на широкую аудиторию, одобрям-с. Но учитывая, что джем среди русскоговорящих, стоило поставить ру, ещё и по дефолту. Вот только, у тебя в игре смесь двух языков, а это уже халтура"

Никто не делал игру на английском. В игре нет локализации и она не задумывалась.
Это общепринятые термины, понятные любому русскоговорящему игроку. Моей целевой аудитории не нужен перевод слова "Start", "Settings", "Exit"

"Делать игру на английском - это задел на широкую аудиторию..." - Это шутка или стёб? Это выглядит как укол. От судьи на джеме я такого не ожидаю.

Мало того, что судья умудрился запутать сам себя в рамках двух предложений. Хвалить за попытку выйти на международную аудиторию и тут же ругать за то, что язык по дефолту не русский. Но чём это? Что я должен вынести из этого? Геймджем русский - делай русский? Ну, ок!

Как итог: Называть подобные вещи в жестких рамках 7 дневного челенджа "халтурой" - это расписка в непонимании формата геймджемов, ну или просто поиск причин занизить оценку. Профессиональный судья оценивает готовый билд в рамках ограничений, а не домысливает за автора его лень типо "решил просто не делать". У джемеров в последние часы крайне стрессовое время. Называть стресс релиз "халтурой" - банальное проявление неуважения к чужому труду.

3. Высокомерное обесценивание.

"В общем, как проба пера - прикольно, молодец. В остальном - видимо лучшие проекты впереди)"

Как итог: Снисходительное похлопывание по плечу и фразы про "пробу пера" (без знания реального опыта разработчика) - это не фидбек ментора или судьи. Это попытка самоутвердиться за счет участника. Не вижу смысла развивать - это неподобающее поведение.

4. Девлог оценивать не буду, но оценю.

"Девблог оформлялся уже после джема, так что в зачёт не идёт, но что пишите об игре - это определённо плюс"

Спасибо за единицу за девлог на который я потратил без меньшего 4 часа, что бы структурировать весь свой опыт и выдать действительно интересный рассказ. Если он не идёт в зачёт - ставьте нейтральную оценку. Я так и делал когда оценивал чужие игры. Я честно писал - я не читал ваш девлог, простите, по этому 3. Но я был не прав - надо было ставить 5.

Как итог: "пишите об игре - это определённо плюс", который дал мне офигенный минус по времени и к общей оценке игры, просто потому что кто то пошёл на принцип валить до конца. Это стёб?

Мысли на тему.
Я вообще не понимаю как девлог может влиять на общую оценку игры. Да это есть в правилах, но есть так же отдельная номинация. Предлагаю вынести оценку девлога в отдельную графу потому, что девлог к игре и её реализации не имеет ни какого отношения. Это делало бы оценку самой игры чище и позволяла бы не заморачиваться над девлогом тем кто не хочет его писать, а я не хотел! Но как полетели минуса - я решил исправиться и сделал это хорошо, а не для галочки. ВАЖНО! Площадка не запрещала мне написать девлог и нет однозначно запрещающего правила его сделать после завершения джема.

5. Вкусовщина в каждом тезисе.

"И теперь геймплей.... Слишком много диалогов, которые мешают начать играть. Ей-богу, будто визуальную новеллу запустил, а не аркаду с заделом на TD"

Можно говорить, что "сколько людей - столько и мнений", но не каждому даётся право судить других в соревнованиях. По этому, раз уж взялись будьте добры откинуть свои предпочтения и постараться погрузиться в то, что хотел сказать автор. Во первых, у меня нет задела на TD - TD был отправной точкой для мысли, но не механикой. Во вторых - это моя игра, я делал её для себя, что бы она нравилась мне и я решил, что нарратив через диалоги это мой выбор. Я потратил на них время и вложил в них свой талант, а еще обучение, что бы оно было подано с юмором. И как показывают отзывы - не зря. Но у судьи какой то триггер на диалоги - он критикует их кол-во почти везде где они есть.

С чем согласен и понимаю, чем вызвано.

1. "Большой минус, что нельзя ускорить и проскипать комикс.... Он слишком медленно отображается"
Всё верно, я не успел сделать скип. Расчёт времени был исходя из того, сколько среднему игроку требуется на оценку арта + текста. Получилось около 20-25 секунд.

2. "Музыка резкая и громкая. А звуков в игре нет в тех местах, где они нужны и важны"
Громкая - верно и это баг. Он исправлен в пост джем версии. По умолчанию, игра должна была выставлять половину громкости для всех каналов, но этого не происходило.

Для разработчиков будет полезно - оказалось, что устанавливать громкость в микшер пока в сцене нет AudioListener бесполезно. А из за моей архитектуры в полтора синглтона я хотел быть уверенным, что AudioManager (ох уж этот нейминг) инициализируется ДО запроса что то сыграть.

В общем, я не знал о таком нюансе... прошу прощения за "минус уши".

Отмечу, что ни у кого больше не было проблем. Предположу, что судьи на опыте уменьшали звук вдвое на всяяякий случай.
Так же, музыка резкая - это вкусовщина. На моём сетапе (solo2 + shure srh1440 + focusrite scarlet 2i2) музыка отличная! =)
Возможно я должен был её свести.. прошу понять и простить...

3. "Игра динамичная (подразумевается), но паузы и меню нет"
Верно, я не успел этого добавить и добавил только в пост джем версии.

В POST JAM версии еще много других исправлений, о которых можно почитать в девлоге.
Она доступна тут для ознакомления

Немного о другом судье.

Максим Земцов запустил стрим на 10 часов, чтобы поиграть в 48 игр. Очень смелое решение, и я зашёл посмотреть, как будет проводиться оценка. То, что я успел увидеть, выглядело как спидран, поверх которого - стрим и общение с аудиторией. На игру в среднем выделялось по 5 минут.

Оценка девлога чисто поверхностная: есть файл - плюс балл, нет - минус. Ни о каком чтении речь не идёт! Это ровно то, о чём я писал выше - девлог и игру надо разделять, потому что сейчас это фикция, а не оценка.

Нет названия игры на обложке - лови еще минус. Выше я уже писал, что обложка обрезается сайтом. Получается, если название обрезано, то лови страйк.

При этом супруга, которая фиксировала оценки, то и дело вставляла своё мнение и влияла на итоговые баллы.
И тут вопросы. Кто судья - Максим или его жена? Кто из них эксперт и кто заявлен на странице джема? Почему супруга Максима в принципе может влиять на оценку?

Максим сказал, что это обзорный стрим и потом он во всё обстоятельно поиграет. Но тогда зачем этот стрим? Я через полчаса просмотра, поняв критерии оценки, решил, что не хочу видеть, как они оценивают мою игру. Я уже понял, какие там будут оценки и за что.

Как итог: "назвался груздем - полезай в корзинку". Если ты заявлен как эксперт и судья, тащить свою семью в оценку, как минимум неуважение к тем, кого оцениваешь. Я не знаю ни Максима, ни его супругу. Поэтому - ничего личного, ребята. Но это было так себе.

Знаете, на первом своём джеме я не видел, как судьи играют в мою игру. Я просто ждал неделю и получил оценку + суммарный взвешенный фидбек от всех судей. И в свете всего выше написанного это ЛУЧШЕЕ, что можно сделать для участника. Запуская стримы, оставляя сырые комментарии на последних силах - вы можете испортить впечатление о себе как о профессионалах. Может ну его на фиг?

Как итог.

1. Предлагаю разделить игру и девлоговедение.
2. ИИ-хейту не место там где ИИ-ассеты разрешены.
3. Предлагаю платформе ввести базовые правила модерации для жюри.
4. Расширить рамки для оценки игр до 2 недель или даже месяца при таком кол-ве участников. Видно, что мана у ревьюверов кончается и качество фидбека падает.

Конструктивный фидбек от адекватных игроков (вроде разбора от DadPsix) был более качественным по оформлению + наполнению и помог мне сделать игру лучше. А токсичный хейт и базарное слово "халтура" пускай остаются на совести судейского состава. Джемы создаются для развития инди-сообщества, а не для высокомерного снобизма.

Я не поленился и ознакомился с другими ревью данного судьи и обнаружил, что непоследовательность в оценке это норма. Где то косячок сгладим, а где то тот же самый растянем и усилим, что бы сдампить оценку дополнительно.
Для сравнения почитайте эти фидбеки
Mindfiller
The Shifter
Soldier Vitalya

И не поймите меня не правильно, пожалуйста, я не завидую более высокой оценке игры, даже если я с ней несогласен.
В сообществе судья пишет, что специально никого не хотел хвалить, но он лукавит. Потому что он хвалит и в этом нет ничего плохого, но в моём (и не только) случае вся похвала это подколы и неуместные замечания. Судья сам признаёт, что намеренно выбирал негативный фокус.
Но судейство - это не душить и не хвалить. Это оценивать. Если ты сознательно игнорируешь баланс, твоя оценка смещена по определению.

Пруф 

Я не понимаю, зачем приглашать в жюри человека, чьи оценки настолько непоследовательны.
У которого своя особая только ему понятная оценочная шкала - раз "2.5 это уже хорошо".

"Неважно как оценена игра" - НЕТ! Важно! Оценки влияют на итоги джема, призы, возможно репутацию, рост, мотивацию. Говорить не важно может только тот, кому от этих оценок ничего не зависит. Разработчик, который не спал неделю, вправе ожидать, что его труд оценят всерьёз, а не с позиции да какая разница.

"...важно, что вы получили опыт" - да мне на фиг не упал опыт недельного кранча просто потому, что какой то судья решил, что мне этого достаточно! Я пришёл за честной оценкой. А баллы пусть выставляются по единым правилам, а не по личному настроению.
Опыт я и сам заберу! У меня целый лонг рид опыта! 

Лично я буду обходить стороной джемы, где он в жюри.
Организаторы, конечно, решат сами, но я свой выбор сделал.

Благодарности.

Другим судьям спасибо за ревью. Местами мне не хватило деталей, но чаще всё было понятно.
Спасибо платформе за предоставленную возможность!
Спасибо участникам за ревью - они были действительно очень полезны!
Спасибо Фролову за то, что не оглох от громкости, за то что прошёл, за то что посмеялся над последней шуткой!