Juan-Carlos Gandhi (![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
juan_gandhi) wrote2020-01-04 04:51 pm
juan_gandhi) wrote2020-01-04 04:51 pm
Entry tags:
не в моей компетенции, конечно
Но я наслаждаюсь аргументами противников теории ГП. Красиво гонят, такое ощущение, что это какая-то умственная паника.
- на Марсе тоже ледники тают;
- всех интересует только температура на поверхности, а что творится на высоте 10км, никого не интересует;
- при динозаврах вообще стояла жарища;
- инерция поведения океана: вода, что сейчас выходит к поверхности на Бермудах (и дальше идет в качестве Гольфстрима), шла от Антарктиды, вдоль Южной Америки, примерно тысячу лет;
- так нам в Калифорнии чего конкретно ожидать-то, засухи или наводнений? А то каждый год новости;
- кто-нибудь вообще изучал вопрос изменения поведения Солнца за последние 50-100 лет?
Типа почему никакого ГП нету вообще:
- да последние пять лет самые холодные за наблюдаемую историю вообще;- у нас на Магадане морозы надоели уже, пусть уже потеплее будет;
- в 1500-м 97% ученых считали, что Земля неподвижна, а кто был не согласен, того на костре сжигали;- на Марсе тоже ледники тают;
- всех интересует только температура на поверхности, а что творится на высоте 10км, никого не интересует;
- при динозаврах вообще стояла жарища;
- инерция поведения океана: вода, что сейчас выходит к поверхности на Бермудах (и дальше идет в качестве Гольфстрима), шла от Антарктиды, вдоль Южной Америки, примерно тысячу лет;
- Грета Тунберг в школу давно не ходила;
- так нам в Калифорнии чего конкретно ожидать-то, засухи или наводнений? А то каждый год новости;
- кто-нибудь вообще изучал вопрос изменения поведения Солнца за последние 50-100 лет?
no subject
I think the white noise model is always correct. Because you don't know what you don't know, you start with the assumption that everything else is noise, and only start digging more if that hypothesis must be rejected (the residuals don't appear to be normally distributed). Basically, in order to discover whether anything else has non-negligible impact, you need to test whether it is significantly non-random.
But I may be wrong. I am only applying a general modeling method, and in this case there may be a better approach.
no subject
Это почему? Про применимость той или иной модели хорошо бы понять обоснования
> Because you don't know what you don't know, you start with the assumption that everything else is noise, and only start digging more if that hypothesis must be rejected (the residuals don't appear to be normally distributed). Basically, in order to discover whether anything else has non-negligible impact, you need to test whether it is significantly non-random.
ну так мы уже знаем, что есть долговременные процессы - ENSO, solar cycles, ...
я поискал в Вашей ссылке слова ENSO, oscillation, solar - ничего нет
они (авторы) весело всё это записали в гауссов шум
no subject
A handwavy explanation, perhaps:
1. You need a criterion of a goodness of fit, no matter how complex the explanation.
2. You need a criterion that is not dependent on the function or distributions involved.
3. You need a criterion that works for inexact matching. (The function that we think governs the behaviour of a system will never match exactly the data that we observe, unless we perform exact interpolation - but interpolation does not have predictive power)
We can then choose between two models, and decide which one is better.
We start with the assertion that you can always explain away anything as white noise. This is a model with zero systemic behaviour. The p at which we can accept the observation as white noise, is the measure of goodness of such an explanation.
You change the model by introducing some systemic behaviour, some function. The residuals (the remaining unexplained behaviour) will follow normal distribution for some p. If this p is smaller than the previous step, we accept the model.
You improve the model by modifying the function - adding new terms, removing others, etc. The residuals will follow normal distribution for some other p. If this p is lower than the previous step, we accept the model. If the same, use the model with fewer variables.
I went through probably only 50% of this book: https://reneues.files.wordpress.com/2010/01/an-introduction-to-generalized-linear-models-second-edition-dobson.pdf , which is to say that I am not pretending to be a guru of statistics. Section 2.3 is the principles of fitting and checking the model.
"ENSO, oscillation, solar"
That's right. They are not modelling ENSO, solar, etc. They are just establishing a difference in temperature. This is like comparing two sets of observations and determining whether they are different, and if they are, what's the difference, and what's the confidence interval of the difference.
no subject
Нет, это предположение, и оно требует определенного обоснования. Т.е. с него обычно стартуют, посколько подавляющая часть нашей статистической машинерии основана на гауссиане, с ней легко и приятно иметь дело, софт.пакеты, GLM и пр. Но зачастую это просто вопрос удобства, привычки, опеределенной лени мышления
Если из первых принципов (из физики процессов) известно, что гаусс плохо применим - его и не надо применять.
> You improve the model by modifying the function - adding new terms, removing others, etc. The residuals will follow normal distribution for some other p. If this p is lower than the previous step, we accept the model. If the same, use the model with fewer variables.
речь идет об относительной пригодности моделей, тут наверно метода применима с оговорками выше
> That's right. They are not modelling ENSO, solar, etc. They are just establishing a difference in temperature. This is like comparing two sets of observations and determining whether they are different, and if they are, what's the difference, and what's the confidence interval of the difference.
авторы же статьи выдают некую цифру как абсолютную ошибку, 0.5Ц
и вот тут у меня возникают вопросы...
no subject
I don't think so. My humble understanding is that we want to get a predictor, but we need to make sure it is better than a coin toss.
"авторы же статьи выдают некую цифру как абсолютную ошибку, 0.5Ц"
Yes. I can't comment, because I can only assume they and the reviewers understand the matter better than me.
They don't talk about ENSO, solar cycles, etc using those names, but I am not sure your worry is justified - the study of long range and short range correlations is written all over the paper.
"Even though the data model produced Gaussian‐distributed data and the observed anomalies are not perfectly Gaussian, the empirical error bars which we can determine up to N≈500 agree well with the ARFIMA model results. This suggests that the Gaussian model works sufficiently well to take the extrapolation to the 30 year error bars seriously."
"Although the physical consequences of increasing greenhouse gas concentrations are undebatable, this work shows that a quantitative assessment of climate change from observed data is still challenging"
no subject
Есть General Linear Model, где невязка (residuals) дб обязательно гауссовой, это условие метода. Он математически довольно прост, довольно прост и вычислительно, и за него хватаются первым делом потому, что он есть всегда и везде, разумный API в Питоне, R, ..., во многих случаюх реально работает, etc
А есть Generalized Linear Model (иногда обозначают как GLiM) где невязка (residuals) может быть любой из целого семейства экспоненциальных распределений (само экспоненциальное, Гамма-распределение, хи-квадрат, распределение Фишера, ...). Заметно тяжелее вычислительно, менее известен и менее используется, но самое главное - требуется предметное знание позволяющее выбрать как именно описывать residuals. Т.е. из знания домейна требуется обосновать выбор распределения.
Люди просто гораздо чаще себе (и другим) говорят, что нифига я про шум не знаю, и пусть он будет гауссов. И, как ни удивительно, зачастую это работает
They don't talk about ENSO, solar cycles, etc using those names, but I am not sure your worry is justified - the study of long range and short range correlations is written all over the paper.
так они сравнивали 30-летнее осреднение с 1-летним. 30-летнее осреднение должно замыть информацию о ENSO (периоды года этак в 4), а также 11-летние солнечные циклы.
я понимаю, что статья прошла ревью, но мне она не нравится, неправильно сделано, кмк
no subject
Dobson's book does talk about modeling with distributions of various exponential families, and the modeling software we used did test different things using a variety of distributions, not just normal.
The small niggle is that you can test whether the residuals are normally distributed, then test if they are Fischer, and end up with p values 0.1 and 0.01. Fischer looks better, but normal is also ok. (In this contrived result)
Also, to my mind, autocorrelations affect the number of degrees of freedom. But if the test holds for a large range of degrees of freedom, it may not matter.
no subject
In other words, the argument should be reversed: how can you tell some function works better than, say, a coin toss? This is the same as how can you tell something is not a white noise.
Hence the motivation for statistical hypothesis testing. You start with an assumption that something is just white noise, then reject it after testing the hypothesis: p-value is sort of like the probability of making a mistake by rejecting the hypothesis that it's just white noise, and you want this probability to be as low as you can get. Since hypothesis testing is just a bunch of arithmetics, you can test any data, whether it is random or not. Just non-random data is meant to have a very low p-value - the test must be able to sniff out the data is not random.
Ok. Then maybe in this particular modelling they have developed a better hypothesis testing approach, or maybe they have a motivation why residuals are not meant to be normally distributed (say, maybe they are log-normally distributed, eh?). But this is what I am trying to find out :) what makes this specific model fitting process different from other models?
I've seen GLM fitting process for rainfall modelling (so I am sure GLM model fitting is applicable at least in some circumstances; what motivated me to study some of that book), which followed pretty much what I am saying as far as I can tell - i.e. optimising the parameters of the model to minimise the residuals (and to result in high confidence that the residuals are white noise). For many functions this is a matter of finding derivatives, etc, just as described in that book.
I do realise the actual oceanic or atmospheric thermal exchange modelling is not necessarily subject to some GLM. And yet we will ascribe some of the stuff to randomness - either because it is really stemming from some probabilistic quantum laws (for the lack of a better term), or just too complex to model, no matter. What we want to know is how much remains unexplained (confidence intervals), and whether we should be worried about being unable to explain the remainder (p-value for accepting the hypothesis that the residuals are white noise).
The general model testing principles seem to be applicable outside GLM specifically, because the goal is the ability to discern a better model from a less accurate model of a process for which we can't produce exactly the numbers we see in the weather station log.
no subject
там как раз про CO2 и как важно учитывать те вещи, которые нам уже известны
no subject