news of the century

[juan_gandhi]

John Baez writes in his tweets (go ahead and look up, or, better, subscribe to his amazing tweets).

Do you know what "continuum hypothesis" is? It's about whether there is an intermediate size set between a countable (ℵ₀), for example, natural numbers, and 2^countable (ℵ₁). It's been proven over 50 years ago that neither the existence nor the non-existence follows from the axioms of Zermelo-Fraenkel. So, when mathematicians say that they base their absolutely strict and correct theorems on set theory (I don't believe them), we can always ask - which one?

Now the things got more serious.

Suppose you are a serious "machine learning data scientist", and you want to base your tea-leaves guesses on a solid math. That is, figure out the theory behind taking billions of pictures of cats and dogs and detecting cats on them (my former colleagues was focusing on figuring out whether he has a cat or a mouse, and figured that if the fur is uniform gray, the "algorithm" says it's a mouse. Do you have a Russian Blue?)

So, what we do, while "detecting", is a kind of data compression. It's closer to something like mapping, 2^N -> N.

Now, surprise. The feasibility of this operation, in general settings, is equivalent to having a finite number of intermediate sizes between ℵ₀ and ℵ₁.

Details are here: https://www.nature.com/articles/s42256-018-0002-3

Learnability can be undecidable

"The mathematical foundations of machine learning play a key role in the development of the field. They improve our understanding and provide tools for designing new learning paradigms. The advantages of mathematics, however, sometimes come with a cost. Gödel and Cohen showed, in a nutshell, that not everything is provable. Here we show that machine learning shares this fate. We describe simple scenarios where learnability cannot be proved nor refuted using the standard axioms of mathematics. Our proof is based on the fact the continuum hypothesis cannot be proved nor refuted. We show that, in some cases, a solution to the ‘estimating the maximum’ problem is equivalent to the continuum hypothesis. The main idea is to prove an equivalence between learnability and compression."

Comments

[olindom]

Чет я запуталась! Вернусь попозже и попробую прочитать еще разок.

[sab123]

Speaking intuitively, it's obviously a kind of compression, but a lossy one.

[12_natali]

/Вся система современного образования построена на внушении обучаемому мысли о непогрешимости Науки. Результат: прежде всего формируется установка, что написанное в учебниках и книгах является Истиной, установленной раз и навсегда и не подлежащей сомнению и пересмотру. Эта установка поддерживается и всей иерархической системой должностей и званий в официальной науке..../ - а.....фигвам!:)))

[juan_gandhi]

Кто в курсе, тот понимает. что есть проблемы. Но большинство аплодирует успехам и верит в непогрешимость.

[bowhill]

Проблема в том, что разные люди под непогрешимостью науки понимают очень разные вещи. Как принцип, наука — это не очень сложно: на выбранных абстракциях и существующих данных надо построить целостную модель и вполне верифицировать её наблюдениями.

Но когда речь идёт о непогрешимости, то обычно это означает, что люди в науку верят. И при этом не слишком в ней разбираются. Так что с наукой происходит то, что и должно происходить с карго-культом (о чём и писал Фейнман).

Как простой пример, наверное, 99% образованного советского населения живёт с неверным представлением об устройстве атома, прекрасно себя чувствует и верит в науку!

[12_natali]

это точно!:) хуже, когда сама наука верит в себя, как в....непогрешимую истину. и трясет диссертациями и докторскими заслуженных, как подтверждением:) а на всё, что с ними не стыкуется, просто закрывает глаза.

[bowhill]

Нет, это не хуже, это иллюзия. В науке не верят, в науке надо знать. Это другое действие и именно так оно и происходит. И в своих докторских люди всё же стараются представить объективную истину. Бытовые интерпретации действительно уже могут различаться, но дело не только в этом.

Те же самые люди выступают в разных ролях, имеют разные ипостаси. И если у себя в докторской человек себя ведёт одним способом, то в других ролях он вполне может вести себя иначе. Связность между ипостасями может быть, а может и не быть. Никакая докторская или даже нобелевская сами по себе здесь ничего не гарантируют.

[12_natali]

да, конечно, но если на этом выстраивается благополучие человека, он будет зубами за них держаться и отрицать все (даже очевидное), что его может разрушить. увы, так поступает большинство. плоть слаба:)
парочка примеров - https://12-natali.dreamwidth.org/113666.html

[ppk_ptichkin]

И что теперича будет с датаучеными?

[juan_gandhi]

Да ведь не ученые и были. Объяснят, что их кофейная гуща - правильная кофейная гуща.

[leblon]

Ну, вот математики же живут как-то. И датаученые будут также.

[juan_gandhi]

Ну вот именно что. Как бы немножко осетра урезать им надо. Не задвигать следствия из некоторых аксиом как универсальные истины, данные нам в ощущениях.

[bowhill]

У них могут быть верификации.

[vit_r]

Как уже писал, это не "machine learning", а "machine training". Оттого и определяют кошку по шкурке.

Когда развивали синергетику, там распознавание изображений шло через преобразования Фурье, как оно происходит у живых организмов. Но для современных учёных это слишком сложно.

[juan_gandhi]

Вот уж точно. Я еще пока не встретил дейта саентиста, которого бы заинтересовала зависимость их саенса от континуум-гипотезы. Такое ощущение, что не понимают вообще, о чем это.

[vit_r]

Если начать понимать в математике, можно из дата саентиста скатиться в статистики. А это и в деньгах хуже, и результаты не такие прорывные, чтобы во всех газетах печатали.

[thedeemon]

Пора уже решить вопрос экспериментом. Построить большой адронный континуумометр и померять уже, сколько там промежуточных множеств. А то не научно! :)

[juan_gandhi]

Прямо здесь в ДВ найдутся свидетели, что и ℕ не существует.