не в моей компетенции, конечно

[juan_gandhi]

Но я наслаждаюсь аргументами противников теории ГП. Красиво гонят, такое ощущение, что это какая-то умственная паника.

Типа почему никакого ГП нету вообще:

- да последние пять лет самые холодные за наблюдаемую историю вообще;

- у нас на Магадане морозы надоели уже, пусть уже потеплее будет;

- в 1500-м 97% ученых считали, что Земля неподвижна, а кто был не согласен, того на костре сжигали;

- на Марсе тоже ледники тают;

- всех интересует только температура на поверхности, а что творится на высоте 10км, никого не интересует;

- при динозаврах вообще стояла жарища;

- инерция поведения океана: вода, что сейчас выходит к поверхности на Бермудах (и дальше идет в качестве Гольфстрима), шла от Антарктиды, вдоль Южной Америки, примерно тысячу лет;

- Грета Тунберг в школу давно не ходила;

- Индии и Китаю вообще пофиг какая температура стоит, им первым делом надо народ накормить;

- так нам в Калифорнии чего конкретно ожидать-то, засухи или наводнений? А то каждый год новости;

- кто-нибудь вообще изучал вопрос изменения поведения Солнца за последние 50-100 лет?

Comments

[sassa_nf]

Thanks, I'll take a look.

I think the white noise model is always correct. Because you don't know what you don't know, you start with the assumption that everything else is noise, and only start digging more if that hypothesis must be rejected (the residuals don't appear to be normally distributed). Basically, in order to discover whether anything else has non-negligible impact, you need to test whether it is significantly non-random.

But I may be wrong. I am only applying a general modeling method, and in this case there may be a better approach.

[math_mommy]

Подгонка данных под модель меня не интересует. Такие вещи делаются на любом статиститеском софте, в том числе туда можно добавить любую переодичность и легкий шум для правдоподобности результата. Сама этим занимаюсь. Открою не такой маленький секрет: при научном подходе, если модель не соответствует реальным данным, то добросовестный ученый должен выбросить модель, а не данные. А уж говорить, что климатологам это не интересно - прямое признание фальсификации. Я в академическом кругу варилась несколько лет. Когда дело касается крупных грантов, то это грязная кухня. Здесь кто-то высосал из пальца проблему, с легкостью получил деньги, и тут же набежали другие желающие. Думая, что это же мелочи жизни, кому все это может быть интересно. Ожидали обычного - лет через 20-30 все забудется, а финансы будут успешно потрачены. Теперь журналисты раздули истерию, и отступить эти ребята не могут.

[pappadeux]

> I think the white noise model is always correct.

Это почему? Про применимость той или иной модели хорошо бы понять обоснования

> Because you don't know what you don't know, you start with the assumption that everything else is noise, and only start digging more if that hypothesis must be rejected (the residuals don't appear to be normally distributed). Basically, in order to discover whether anything else has non-negligible impact, you need to test whether it is significantly non-random.

ну так мы уже знаем, что есть долговременные процессы - ENSO, solar cycles, ...

я поискал в Вашей ссылке слова ENSO, oscillation, solar - ничего нет

они (авторы) весело всё это записали в гауссов шум

[pappadeux]

> Подгонка данных под модель меня не интересует. Такие вещи делаются на любом статиститеском софте, в том числе туда можно добавить любую переодичность и легкий шум для правдоподобности результата. Сама этим занимаюсь.

нет, это не является подгонкой - это настройка/тюнинг моделей. Модель должна воспроизводить своим решением массив данных, доступных с 1860х.

> Открою не такой маленький секрет: при научном подходе, если модель не соответствует реальным данным, то добросовестный ученый должен выбросить модель, а не данные.

Модели будут выброшены, когда они не смогут об'яснить температурные данные, либо когда появится альтернативная физическая гипотеза, об'ясняющая как ГП, так и его темпы. Н данный момент научных (фальсифицируемых) гипотез, кроме как АГП - их нет.

> А уж говорить, что климатологам это не интересно - прямое признание фальсификации.

Я пытался рассказать, что есть климатологи, и есть климатологи. Реконструкторы и особенно палеклиматология - это отдельный мир. Современная климатология и модели - это еще один довольно отдельный мир. Люди, занимающиеся ГП и моделями реально живут во временных промежутках 1850-1860 -- 2020 -- 2100.

У них и подходы разные. Кяп, у палеклиматологов есть свои модели, но они, во-первых, очень просты и даже примитивны, а, во-вторых, должны работать на очень длинных временных интервалах - тысячи и тысячи лет. Им нужно учитывать нетривиальную вулканическую активность, и даже движение континентов.

В то время как у современных климатологов непрерывно происходит усложнение и развитие моделей, но временной интервал остается, честно сказать, очень малым.

Эти сообщества (палео, ГП климатология, реконструкторы) не очень-то и пересекаются. И да, ГП климатологам палеоклиматология не интересна (ни фактически, ни методологически).

> Ожидали обычного - лет через 20-30 все забудется, а финансы будут успешно потрачены. Теперь журналисты раздули истерию, и отступить эти ребята не могут.

Т.е. Вы считаете, что ГП совсем не наблюдается?

[sassa_nf]

"Это почему?"

A handwavy explanation, perhaps:

1. You need a criterion of a goodness of fit, no matter how complex the explanation.
2. You need a criterion that is not dependent on the function or distributions involved.
3. You need a criterion that works for inexact matching. (The function that we think governs the behaviour of a system will never match exactly the data that we observe, unless we perform exact interpolation - but interpolation does not have predictive power)


We can then choose between two models, and decide which one is better.

We start with the assertion that you can always explain away anything as white noise. This is a model with zero systemic behaviour. The p at which we can accept the observation as white noise, is the measure of goodness of such an explanation.

You change the model by introducing some systemic behaviour, some function. The residuals (the remaining unexplained behaviour) will follow normal distribution for some p. If this p is smaller than the previous step, we accept the model.

You improve the model by modifying the function - adding new terms, removing others, etc. The residuals will follow normal distribution for some other p. If this p is lower than the previous step, we accept the model. If the same, use the model with fewer variables.

I went through probably only 50% of this book: https://reneues.files.wordpress.com/2010/01/an-introduction-to-generalized-linear-models-second-edition-dobson.pdf , which is to say that I am not pretending to be a guru of statistics. Section 2.3 is the principles of fitting and checking the model.


"ENSO, oscillation, solar"

That's right. They are not modelling ENSO, solar, etc. They are just establishing a difference in temperature. This is like comparing two sets of observations and determining whether they are different, and if they are, what's the difference, and what's the confidence interval of the difference.

[sassa_nf]

"Это почему?"

In other words, the argument should be reversed: how can you tell some function works better than, say, a coin toss? This is the same as how can you tell something is not a white noise.

Hence the motivation for statistical hypothesis testing. You start with an assumption that something is just white noise, then reject it after testing the hypothesis: p-value is sort of like the probability of making a mistake by rejecting the hypothesis that it's just white noise, and you want this probability to be as low as you can get. Since hypothesis testing is just a bunch of arithmetics, you can test any data, whether it is random or not. Just non-random data is meant to have a very low p-value - the test must be able to sniff out the data is not random.


Ok. Then maybe in this particular modelling they have developed a better hypothesis testing approach, or maybe they have a motivation why residuals are not meant to be normally distributed (say, maybe they are log-normally distributed, eh?). But this is what I am trying to find out :) what makes this specific model fitting process different from other models?

I've seen GLM fitting process for rainfall modelling (so I am sure GLM model fitting is applicable at least in some circumstances; what motivated me to study some of that book), which followed pretty much what I am saying as far as I can tell - i.e. optimising the parameters of the model to minimise the residuals (and to result in high confidence that the residuals are white noise). For many functions this is a matter of finding derivatives, etc, just as described in that book.

I do realise the actual oceanic or atmospheric thermal exchange modelling is not necessarily subject to some GLM. And yet we will ascribe some of the stuff to randomness - either because it is really stemming from some probabilistic quantum laws (for the lack of a better term), or just too complex to model, no matter. What we want to know is how much remains unexplained (confidence intervals), and whether we should be worried about being unable to explain the remainder (p-value for accepting the hypothesis that the residuals are white noise).

The general model testing principles seem to be applicable outside GLM specifically, because the goal is the ability to discern a better model from a less accurate model of a process for which we can't produce exactly the numbers we see in the weather station log.

[sassa_nf]

Thanks for the writeup.

"они берут пул моделей (27 штук, емнип) и на каждом годе делают вид, что у них 27 случайных величин, находят среднее, стандартное отклонение и все это рисуют на графиках... Эти величины и играют роль "ошибки""

That's an odd way to calculate errors.


"Т.е. мало того, что выдачи моделей не имеют отношения к iid (independent and identically distributed) случайным величинам"

Ok. That's an interesting methodology.

Rainfall modelling used literal deviations of observations from model predictions as errors. That is, e_i = o_i - f(i) - observed value take away the function output. (And yes, the function was full of things like literally the angle of incidence of sun rays, Boltzmann law for evaporation, etc)

[pappadeux]

> We start with the assertion that you can always explain away anything as white noise.

Нет, это предположение, и оно требует определенного обоснования. Т.е. с него обычно стартуют, посколько подавляющая часть нашей статистической машинерии основана на гауссиане, с ней легко и приятно иметь дело, софт.пакеты, GLM и пр. Но зачастую это просто вопрос удобства, привычки, опеределенной лени мышления

Если из первых принципов (из физики процессов) известно, что гаусс плохо применим - его и не надо применять.

> You improve the model by modifying the function - adding new terms, removing others, etc. The residuals will follow normal distribution for some other p. If this p is lower than the previous step, we accept the model. If the same, use the model with fewer variables.

речь идет об относительной пригодности моделей, тут наверно метода применима с оговорками выше

> That's right. They are not modelling ENSO, solar, etc. They are just establishing a difference in temperature. This is like comparing two sets of observations and determining whether they are different, and if they are, what's the difference, and what's the confidence interval of the difference.

авторы же статьи выдают некую цифру как абсолютную ошибку, 0.5Ц

и вот тут у меня возникают вопросы...

[pappadeux]

Рекомендую взглянуть на https://stats.stackexchange.com/questions/377999/why-are-gaussian-processes-valid-statistical-models-for-time-series-forecasting

там как раз про CO2 и как важно учитывать те вещи, которые нам уже известны

[pappadeux]

> Ok. That's an interesting methodology.

ну да, это т.н. "консенсус"

Кстати, вот еще интересный кусочек от Блумберга, там некие интересные факты про слова и модели

Можно было увидеть, что уже года как полтора появляются все более тревожные заявления - ГП на 5Ц буквально завтра, нужно срочно бежать и т.д. и т.п.

Это было результатом того, что часть моделей слегка сошла с рельсов, выдавая очень большой эффект потепления.

Няз, примерно к тому времени доделали аэрозолив части моделей, и возможно это и стало источником разногласий. Но пока вопрос стоит открыто...

https://www.bloomberg.com/news/features/2020-02-03/climate-models-are-running-red-hot-and-scientists-don-t-know-why

[sassa_nf]

Sure. But first you get unsatisfactory results, then you start looking for autocorrelations etc.

[sassa_nf]

"это просто вопрос удобства"

I don't think so. My humble understanding is that we want to get a predictor, but we need to make sure it is better than a coin toss.


"авторы же статьи выдают некую цифру как абсолютную ошибку, 0.5Ц"

Yes. I can't comment, because I can only assume they and the reviewers understand the matter better than me.

They don't talk about ENSO, solar cycles, etc using those names, but I am not sure your worry is justified - the study of long range and short range correlations is written all over the paper.

"Even though the data model produced Gaussian‐distributed data and the observed anomalies are not perfectly Gaussian, the empirical error bars which we can determine up to N≈500 agree well with the ARFIMA model results. This suggests that the Gaussian model works sufficiently well to take the extrapolation to the 30 year error bars seriously."


"Although the physical consequences of increasing greenhouse gas concentrations are undebatable, this work shows that a quantitative assessment of climate change from observed data is still challenging"

[pappadeux]

> I don't think so. My humble understanding is that we want to get a predictor, but we need to make sure it is better than a coin toss.

Есть General Linear Model, где невязка (residuals) дб обязательно гауссовой, это условие метода. Он математически довольно прост, довольно прост и вычислительно, и за него хватаются первым делом потому, что он есть всегда и везде, разумный API в Питоне, R, ..., во многих случаюх реально работает, etc

А есть Generalized Linear Model (иногда обозначают как GLiM) где невязка (residuals) может быть любой из целого семейства экспоненциальных распределений (само экспоненциальное, Гамма-распределение, хи-квадрат, распределение Фишера, ...). Заметно тяжелее вычислительно, менее известен и менее используется, но самое главное - требуется предметное знание позволяющее выбрать как именно описывать residuals. Т.е. из знания домейна требуется обосновать выбор распределения.

Люди просто гораздо чаще себе (и другим) говорят, что нифига я про шум не знаю, и пусть он будет гауссов. И, как ни удивительно, зачастую это работает

They don't talk about ENSO, solar cycles, etc using those names, but I am not sure your worry is justified - the study of long range and short range correlations is written all over the paper.

так они сравнивали 30-летнее осреднение с 1-летним. 30-летнее осреднение должно замыть информацию о ENSO (периоды года этак в 4), а также 11-летние солнечные циклы.

я понимаю, что статья прошла ревью, но мне она не нравится, неправильно сделано, кмк

[sassa_nf]

I think I agree with you on all points here.

Dobson's book does talk about modeling with distributions of various exponential families, and the modeling software we used did test different things using a variety of distributions, not just normal.

The small niggle is that you can test whether the residuals are normally distributed, then test if they are Fischer, and end up with p values 0.1 and 0.01. Fischer looks better, but normal is also ok. (In this contrived result)

Also, to my mind, autocorrelations affect the number of degrees of freedom. But if the test holds for a large range of degrees of freedom, it may not matter.

[sassa_nf]

Interesting article. I was unaware of such developments.

But what I am puzzled about, is that it seems to me that you are saying the error they report is only saying how much the models disagree with each other, whereas I am interested in how much the models disagree with the reality.

[pappadeux]

> you are saying the error they report is only saying how much the models disagree with each other, whereas I am interested in how much the models disagree with the reality.

где именно модели должны расходиться с реальностью?

На интервале 1860-2020 они с реальностю не расходятся,потому что они так сделаны и настроены. "The scientists went on to try 300 configurations of rain, pollution, and heat flows—something they can do as gods of their own digital earth—before matching the model to history."

Они расходятся между собой (и, конечно, между единственной будущей реальностью) на интервале 2020-2100. Скорее всего, все модели реальности соответствовать не будут хотя бы по причине того, что моделисты гонят большой, но стандартизированный набор сценариев от IPCC, а будущее вполне может от видения IPCC отличаться.

Правильной помодельной пропагацией ошибок никто не занимается

Потому IPCC и делает, по большому, единственный возможный(разумный) вариант - консенсус по моделям (пул 27ми) и ворота по моделям. И обсуждают как сильно та или иная модель отличается от "консенсуса"

Но обосновать это я бы не смог, ерунда, кмк

[sassa_nf]

"где именно модели должны расходиться с реальностью?
... они так сделаны и настроены"

The result of fitting and tuning is a p-value showing how well each model matches the reality. Or what measure do they use?

This is because it never matches the reality exactly. Because it is not an interpolation of the data.

* the reality here is the historic record.

[math_mommy]

Так я и говорю - существуют разные модели. Основанные на разных данных, разных предположениях.

> Т.е. Вы считаете, что ГП совсем не наблюдается?
Наблюдается, конечно. Но вопрос в том, насколько это зависит от деятельности человечества. Кстати, на той ссылке, что я вам дала, как раз и видно, что температура вполне может повышатся и без индустриализации.
https://en.wikipedia.org/wiki/Paleoclimatology#/media/File:All_palaeotemps.svg