Stein's estimator

[juan_gandhi]

 https://en.wikipedia.org/wiki/James%E2%80%93Stein_estimator

Кароч, вот есть у нас нормальное распределение, сигма единица, среднее неизвестно. Делаем одно измерение, получаем точку x.

Как мы оценим среднее по этой точке? Да ее и взять, какие еще варианты. Ну или двумерное пространство, берем какую-нибудь точку, это и будет оценка.

А вот теперь трехмерное пространство. И тут точка x не годится! Советуют брать точку x-x/|x|. Сдвинуть надо. В случае n-мерного пространства берите x - (n-2)*x/|x|.

Вот что за бред, да? Одновременно оцениваем количеств мух в столовке номер шесть, среднюю оценку по философии Возрождения в Тюбингенском университете, и возраст судьи в штате Гаваи. После чего СДВИГАЕМ.

Такие дела. Противоречит массе интуитивных идей - однородности пространства, например.

Интересно, в физике это применимо?

Comments

[perdakot]

Одновременно оцениваем количеств мух в столовке номер шесть, среднюю оценку по философии Возрождения в Тюбингенском университете, и возраст судьи в штате Гаваи. После чего СДВИГАЕМ.

Это потому что возраст судьи зависит от мух в столовке.

[juan_gandhi]

Да, в любую сторону можно сдвигать, верно.

классика матстатистики, епта

[ded_maxim]

Тут вот даётся геометрическая картинка: https://projecteuclid.org/euclid.ss/1331729980

Re: классика матстатистики, епта

[juan_gandhi]

Картинку вижу, но не понимаю. Тем более, что двигать-то можно в любую сторону.

Re: классика матстатистики, епта

[ded_maxim]

Тут без знания аксиоматики матстатистики сложно, на самом деле. Это ж не диплернинг, тут математику знать надо.

Например, в отличие от классической оценки максимального правдоподобия (то есть, самой случайной точки), оценка Джеймса-Стайна смещена (biased): ее матожидание не равно искомому среднему гауссианы. То есть, если мы ищем наилучщую несмещенную оценку, то смело оцениваем среднее дедовским способом, в полном соответствии с заветами Крамера и Рао.

Re: классика матстатистики, епта

[ded_maxim]

В байесовском подходе, кстати, этих заморочек не возникает: полагаем неизвестное среднее случайной величиной с каким-нибудь априорным распределением и минимизируем среднеквадратичную ошибку по всем возможным оценочным функциям. Если априорное распределение тоже гауссовское, то все опаньки, оптимальная оценочная функция получается в явном виде методом множителей Лагранжа. А тут вся фишка в том, что феномен Джеймса-Стайна имеет место в частотном (frequentist) подходе, где есть понятие допустимости (admissibility) оценочной процедуры: для любого возможного значения оцениваемого параметра, любая другая оценка будет хуже в смысле матожидания заданной целевой функции с этим значением параметра.

Re: классика матстатистики, епта

[ded_maxim]

Кстати, о подобных вещах еще Роббинс (который Курант и Роббинс) писал: https://projecteuclid.org/euclid.bsmsp/1200500224

[skittishfox]

Это в основном в физике и применяется, так как, если вы заметили, в сдвиге явно задаётся значение дисперсии, которое считается а) известным и б) равным для всех величин. В прикладной статистике такие условия практически никогда не выполняются.

В физике же это явно присутствует в signal processing, когда значения сигмы ясны из характеристик канала, поэтому сглаживание помогает, и в теорфизике, которую я знаю плохо и по которой сказать ничего не могу. Фактически, вы пользуетесь тем фактом, что у вас есть псевдослучайная выборка из распределения с известным параметром, и именно благодаря знанию этого параметра вы можете выжать дополнительную информацию.

В вашем примере никакй однородности пространства нет, так как вы явно задвигаете, что все ваши переменные заведомо (а не эмпирически - это важно!) имеют нулевую корреляцию и одинаковую сигму. Заведомо нулевые корреляции можно получить или в хитром процессе, или в теорфизических выкладках - на практике у вас этого знания нет, из-за чего эстиматор и ломается в реальном мире.

[juan_gandhi]

Все равно поразительно.

[skittishfox]

Да, и не забывайте, что независимые случайные величины можно легко получить из зависимых случайных величин с Гауссовым распределениям путём линейной трансформации на principal components. Грубо говоря, если у вас есть РЛС, у которой погрешности по трём координатам зависимы, но распределение которых известно с хорошей точностью, вы можете использовать этот факт, чтобы получить более хорошую оценку координат объекта в трёх измерениях.

Но, повторюсь, для этого вам нужно потратить время на изучение распределения погрешностей, и - это важно! - они должны быть нормальными, а не чем-то более хитрым.

В вашем примере, предполагается, что вы долго изучали совместное распределение мух, оценку по истории Возрождения, и возраст судьи в Гавайах, и знаете совместное распределение. Если вы этого распределения не знаете - то вы ничего не выигрываете, так как эстиматор ломается на сигме.

[math_mommy]

С возрастанием размерности на все большей части области определения значение плотности вероятности существенно меньше среднего.
Скажем, в одномерном случае вероятность того, что случайное значение отклонилось от среднего меньше, чем на единицу, около 68%. То есть больше половины. Практически все остальное будет не дальше, чем 3 сигмы. Смотрим на картинку и сравниваем расстояния, а так же площади областей под интегралами. А в двухмерном случае мы интегрируем не по отрезку, а по квадрату вокруг среднего, со стороной 2. Соответсвующее остальное теперь будет размазано по бОльшему квадрату со стороной 6. (Насколько оно остальное - еще посчитать нужно.) То есть место, где достигается это среднее, с возрастанием размерности снижается по объему (объем здесь в обобщеном смысле) к остальному.
Мне интересно - а в статистистическом софте это где-нибудь имплементировано?

[alexanderr]

с физикой тут крупнейшие нелады с самого начала.

даже не вникая в вопрос, ставим двойку или даже кол.

х имеет свою размерность, а х/|x| это безразмерное число.
вычислять x-x/|x|это все равно, что складывать километры и килограммы

[ded_maxim]

Во первых, там делится не на |x|, а на |x|^2 (в начальном посте ошибка). А во-вторых, x/|x|^2 умножается на (n-2)sigma^2, так что размерность икса никуда не девается.

[alexanderr]

ага, т.е. речь идет о совсем другой формуле!
ну просто ничего общего. тут тебе и сигма в квадрате
и n-2 и все дела

[juan_gandhi]

Не, это я ошибся. Все норм с размерностями, надо умножать на сигма квадрат и делить на икс квадрат.

[perdakot]

х/|x| это безразмерное число

Какая размерность у |x| при x=(2 мухи, 4.7 балла, 57 лет)?

[alexanderr]

ну, составлять вектор из величин разной размерности это тоже неправильно.
при повороте они перемешаются.

кстати, в этом одна из проблем системы единиц SI, там электрическое поле
и магнитное оказались с разными размерностями, т.е. полный анекдот.
почти как в вашем примере

[juan_gandhi]

Нормировать надо, тогда размерности не будет.

[gonchar]

Не знал про такую штуку.
Кажется странной, очень.

А Вы проверяли все рассуждения сами? Начиная с посылок. Может, там в неявном виде что-то засунуто?

Мне самому трудно - трудоёмко. Всё-таки в нормальной математике я не практиковался лет 30, надо будет всё себе разжёвывать.

[juan_gandhi]

Доказательство длинное (ссылка в статье), с изысканными формулами и интегралами. По идее, ничего сложного, но проверять все это... сто раз уже проверили, с пятидесятых.

[gonchar]

Вряд ли ошибка в формальном доказательстве.
Но в посылках, в привязке этих посылок к интуитивно понимаемому реальному миру - возможно, там что-то сомнительное.

[e2pii1]

Интересный эффект. В английской вики есть про него.

[norian]

статистика вообще неприменима к одной точке, ей нужны большие множества для построения моделей

[caztd]

Природа таки тяготеет к нулю, да.
Если измерение x не превышает уровня шума, то скорее всего вы померили шум.