Качество в поддержке, часть 3: метрики. Как понять, что вы нравитесь пользователям
За что в идеальных тикетах ставят единицы?
В прошлых частях мы разобрались, почему идеальные на проверках тикеты в реальности могут быть не очень, и сделали подход к внешнему качеству.

Посмотрим на метрики, которыми руководители машут на созвонах и защищают бюджеты. Ни одна из них не даёт явного ответа на вопрос «мы молодцы или нет», у всех есть подводные камни.
CES: усилия клиентов

Насколько легко было решить свой вопрос

Customer Effort Score — метрика, измеряющая потраченные калории. Измеряет, сколько порогов пришлось обить до того, как получилось добыть внятный ответ на вопрос: есть ли справка, как долго пришлось тыкаться в бота, сколько раз отфутболили между линиями.
Если человек пишет в поддержку, он уже не в лучшем настроении. Ему не до "пришлите скриншот" и "уточните номер заявки", в идеале специалист должен читать мысли. CES показывает, мешаем мы или помогаем.
Плохой CES

  • Пришлось писать несколько раз
  • Повторял одно и то же разным специалистам
  • Полчаса пробивался через бота
  • Ждал дольше, чем готов терпеть
Хороший CES

  • Вопрос решили с первого обращения
  • Сразу попал к нужному специалисту
  • Не задавали тупых вопросов
  • Решение было понятным
  • Не пришлось после чата писать письмо или звонить
Риски:

  • Не учитывает эмоции: могло быть легко, но неприятно; или было на самом деле легко, но очень злобно, поэтому оценивают низко.
  • Хороший CES оценивает не качество работы поддержки или крутость продукта, а вложение усилий для решения вопроса. Если на тысячу активных пользователей девятьсот говорят, что вопрос быстро решился, это плохо, потому что столько вопросов возникать не должно.
  • Специалисты почти не могут влиять на этот показатель: если по внутренним регламентам саппорт должен запрашивать скриншот, логи и видео, даже идеально обработанный тикет будет бесить пользователя количеством запросов.
CSAT: удовлетворённость в конкретной точке

Как вы себя чувствуете в конце диалога с поддержкой

Customer Satisfaction Score — быстрый срез настроения пользователя после контакта с поддержкой.
Базовый и самый популярный показатель. Оценочное суждение пользователя после диалога.

Классически измеряется от одного до пяти звёздочками ⭐️⭐️⭐️⭐️⭐️ или эмодзи разной степени радостности. Варианты опроса из двух-трёх вариантов вроде 👍👎 дают смазанную картину. Можно включить дополнительные вопросы, как на картинке выше.
Плохой CSAT

  • Тикет формально закрыли, но проблема осталась
  • Отвечали по шаблону, не учитывая деталей
  • Пришлось трясти решение из поддержки
  • Отвечали долго или с большими паузами
  • Сказали «передали в команду разработки», и на этом всё
  • Не позавтракал, развёлся с женой
  • Не нравится, как работает продукт
Хороший CSAT

  • Проблему на самом деле решили в поддержке
  • Ответ был по делу, без воды и шаблонов
  • Всё объяснили простым языком
  • Ответили быстро и держали в курсе
  • Не пришлось напоминать о себе
  • Осталось ощущение: «со мной нормально поработали»
Риски:

  • Сильно зависит от настроения клиента. Сегодня поставил 5, завтра — 2 за ту же ситуацию. Чтобы делать статистически достоверные выводы, нужен большой массив оценок.
  • Часто оценивают не контакт с поддержкой, а продукт: «приложение не открывается — держите единицу». Эти оценки нужно выкалывать из подсчёта удовлетворённости поддержкой, потому что поддержка на работу приложения не влияет.
  • Сильно завязан на специалистах: вежливый сотрудник может вытянуть плохой процесс, и руководители не узнают, что где-то была проблема.
  • Грязная метрика со многими «но», сбор и расшифровка зависят от ответственности руководителя. Автор видел, как руководитель одной крупной команды рапортовал о небывалом росте удовлетворённости поддержкой после того, как оставил возможность оценить взаимодействие только после полного закрытия тикета. Так как тикеты, в которых жаловались на баги (а их было 70%), могли не закрываться по 2−3 года ожидания решения, у пользователей просто не было возможности выразить свои возмущения по дороге. Зато метрика нереально выросла.
Gartner считает, что к 2027 году четверть мировых брендов поменяет инструмент оценки качества обслуживания. Раньше это был CSAT, теперь им станет CES — показатель усилий, которые клиенту нужно приложить для решения проблемы.
CSI: удовлетворённость в общем

Насколько вы в целом в восторге от нас

Customer Satisfaction Index, старший брат CSAT — более широкая метрика, которая учитывает не один контакт, а весь опыт: от доставки и упаковки до использования продукта и работы с поддержкой.

CSI — комплексная метрика. Если у компании группа продуктов и много каналов поддержки, её могут собирать не единственной просьбой поставить оценку, а опросником из многих пунктов. В этом CSI похож на SERVQUAL, который мы обсуждали в прошлой части. Например, так:


Огромный и достаточно раздражающий опросник
Параметр
Важность от 1 до 10
Оценка от 1 до 10
Удовлетворённость
Скорость решения проблемы
10
7
70%
Манера общения саппорта
6
5
30%
Стоимость обслуживания
5
10
50%
Складываем все параметры и получаем комлексное значение «ну как бы наполовину доволен»:

При этом параметры и их вес могут быть самыми разными. Чтобы понять, из чего вообще складывается удовлетворённость, что пользователям важно, нужно проводить качественные и количественные исследования.
Плохой CSI

  • Вроде всё работает, но пользоваться тяжело
  • На каждом этапе есть трение: то долго, то непонятно
  • Поддержка и продукт живут как будто отдельно
  • Нужно самому разбираться, как у вас всё устроено
  • Много мелких проблем, которые в сумме бесят
Хороший CSI

  • Пользоваться сервисом в целом удобно
  • Поддержка дополняет продукт, а не затыкает дыры
  • Понятно, что делать на каждом шаге
  • Проблемы решаются без лишних усилий
  • Мелкие проблемы не накапливаются
Риски:


  • Чем шире метрика, тем сложнее объяснять, почему она изменилась. Сложно вычленить, что повлияло на падение: курьеры хамят? поддержка не решает вопросы? цена слишком высокая? Любое изменение метрики требует исследований.
  • Требует больших данных и подробной аналитики, чтобы не просто смотреть на метрику, а управлять ей.
NPS: готовы ли вы нас рекомендовать

Какова вероятность от 1 до 10, что вы посовуете нас друзьям или коллегам

Net Promoter Score — метрика про лояльность на дистанции. Отвечает не на вопрос «как прошёл диалог», а на вопрос «ок мы вам настолько, чтобы рассказывать о нас».
Плохой NPS

  • Самому пользоваться куда ни шло, но советовать — точно нет
  • Опыт нестабильный: сегодня норм, завтра всё ломается
  • При проблемах проще обойтись без поддержки
  • Был негативный опыт, который запомнился сильнее остального
  • Не хочется подписывать друзей на фигню
  • Если появится альтернатива, свалю
Хороший NPS

  • Можно спокойно рекомендовать, крутая штука
  • Если что-то сломается, всё починят
  • Поддержка ведёт себя предсказуемо хорошо
  • Позитивный опыт повторяется, а не случается случайно
  • Если что, в поддержку написать не страшно
  • «Да, попробуй, у меня с ними никогда проблем не было»
Риски:

  • Ещё один общий показатель. На него влияет всё: продукт, цена, маркетинг, бренд и поддержка. Сложно вычленить влияние поддержки из общей массы.
  • Долго реагирует на изменения — вы уже починили процесс, а NPS ещё не догнал, новые оценки не накопились.
  • Не даёт конкретики: понятно, что стало хуже, а из-за чего — слабо понятно.
Какую метрику выбрать для оценки качества работы поддержки

Короткий ответ: никакую по отдельности.

Все метрики имеют особенности, каждая врёт по-своему. CES покажет, насколько вы мешаете пользователю жить, CSAT — в каком настроении он ушёл из диалога, CSI — как ему вообще с вами живётся, NPS — готов ли он вас кому-то подсунуть.

Любая метрика — это попытка численной реконструкции реального опыта, который очень сложно описать одной цифрой. Если смотреть на что-то одно, будет красивый, но бесполезный показатель. Хороший CES может быть у сервиса, где всё легко чинится, но ломается слишком часто. NPS может падать из-за цены, даже если поддержка работает идеально.

В то же время ориентироваться только на ощущения нельзя. Ощущения не масштабируются: у одного тимлида «всё нормально», у другого «всё горит», а что происходит на самом деле — непонятно.

Метрики — это не истина в последней инстанции, а приборная панель. Не надо слепо гнаться за цифрой. Ориентируйтесь на метрики, но не расслабляйтесь, если что-то где-то подросло. Оставайтесь в реальности: если вы сами знаете, что поддержка вместо решения вопросов передаёт баги разработчикам, которые хоронят их на год, отличные оценки в CSAT ситуацию не спасут.
📚 Эти ссылки подобрали для вас вручную:
«Работа стала соковыжималкой»: история увольнения руководителя клиентского сервиса
Читайте, если пока думаете, что «работа не нравится, но терпеть можно».
Что делать, когда поддержка перегружена
Хелпдеск завален уведомлениями. Случилось страшное: поддержку завалило, и вы в непроглядной тьме тикетов, которым конца и края не видно.
Дизайн тикета: как поддержке писать так, чтобы письма и чаты читали
Вы вложили душу в подробный ответ, разобрали проблему по косточкам, дали четкие шаги, а ответа нет. Почему?
Как поддержке подготовиться к релизу и не умереть на запуске
Устали узнавать об обновлениях от внешних пользователей? Проклинаете вечер пятницы?