[Объяснимое машинное обучение] Значение Шепли

1. Определения

Среднее значение оценки вклада функции во всех случаях.

2. Объясните

1.1 Линейная модель:

\hat{f}(x)=\beta_0+\beta_1x_1+...+\beta_px_p, j = 1,...,p

один из них $x_j$ является собственным значением, $\beta_j$ является соответствующей функцией $j$ значение веса. Затем мы вычисляем прогнозируемое значение $\hat{f}(x)$ особенность $j$ стоимость вклада $\phi_j$ Да:

\phi_j(\hat{f})=\beta_jx_j-E(\beta_jX_j)=\beta_jx_j-\beta_jE(X_j)

в $E(\beta_jX_j)$ — оценка среднего воздействия, а значение вклада — разница между характерным воздействием и средним воздействием. Когда мы суммируем вклад каждого признака выборки, это:

\sum_{j=1}^{p}\phi_j(\hat{f})=\sum_{j=1}^{p}(\beta_jx_j-E(\beta_jx_j))=(\beta_0-\sum_{j=1}^{p}\beta_jx_j)-(\beta_0-\sum_{j=1}^{p}E(\beta_jX_j))=\hat{f}(x)-E(\hat{f}(X))

Таким образом, это может быть получено как точка данных x минус его среднее прогнозируемое значение.

1.2 Значение Шепли

В теории игр значение Шепли — это решение, которое вычисляет значения вклада функций для одного прогноза всех моделей машинного обучения. Согласно исходному определению, которое будет распространено на машинное обучение, значение Шепли собственного значения — это взвешенная сумма расходов при вкладе всех возможных собственных значений.

\phi_j(val)=\sum_{S \subseteq \left \{ x_1,...x_p \right \} \backslash \left \{ x_j \right \} }\frac{\left | S \right |!(p-\left | S \right |-1)!}{p!}\left ( val(S\cup \left \{ x_j \right \}) -val(S)\right )

S — подмножество признаков, используемых во всех моделях, x — вектор собственных значений для одной выборки, подлежащей объяснению, $val_x(S)$ является предсказанным значением собственных значений в подмножестве S.

Shapley Value имеет четыре свойства:

срок действия: Значение вклада функции представляет собой накопление разницы между прогнозируемым значением и средним значением прогнозируемого значения.
симметрия: Если во всех случаях два собственных значения вносят одинаковый вклад, то их значения Шепли равны.
дурачок: если функция не изменяет прогнозируемое значение, независимо от того, в какой комбинации значение Шепли равно 0.
Аддитивность: можно добавить два значения Шепли.

2. Приложение

1.3 Приблизительная оценка значения Шепли для одного признака

Приблизьте значение Шепли, используя метод выборки Монте-Карло.

\hat{\phi_j}=\frac{1}{M} \sum_{m=1}^{M}(\hat{f}(x_{+j}^m)-\hat{f}(x_{-j}^m))

Шаги алгоритма:

от $m=1,...,M$
1. Возьмите случайную выборку z из x
2. Случайная перестановка признаков o
3. Сортировать х: $x_o=(x_1,...,x_j,...,x_p)$
4. Сортировать по я: $z_o=(z_1,...,z_j,...,z_p)$
5. Построить новый образец
  - Имеет функцию j: $x_{+j}=(x_1,...,x_{j-1},x_j,z_{j+1}...,z_p)$
  - Нет функции j: $x_{-j}=(x_1,...,x_{j-1},z_j,z_{j+1}...,z_p)$
6. Вклад вычислительных ресурсов $\phi_j^m=\hat{f}(x_{+j})-\hat{f}(x_{-j})$
Рассчитайте среднее значение Шепли: $\phi_j(x)=\frac{1}{M} \sum_{m=1}^{M}\phi_j^{m}$

3. Преимущества и недостатки

3.1 Преимущества

Метод сравнения прогнозируемого значения со средним прогнозируемым значением — это способ сравнения справедливого распределения.
Расчеты значения Шепли допускают сравнительную интерпретацию.
Этот метод подкреплен прочной теорией (валидность, симметрия, фиктивность, аддитивность).
Предсказание можно интерпретировать как игровое явление с участием признаков.

3.2 Недостатки

Время расчета велико.
Значение Шепли будет неверно истолковано.
- Shapley Value недоступен для разреженной интерпретируемости (включено меньшее количество функций). Но это можно решить с помощью пакета LIME или SHAP (также основанного на значении Shapley, но может решить проблему разреженности)
Изменения состояния, которые можно использовать для непрогностических моделей.
Данные должны быть доступны.
Для нереалистичных образцов это повлияет на его расчетное значение.