API: elements of math illiteracy

(in Spark)

  def createDataset[T : Encoder](data: java.util.List[T]): Dataset[T] = {...

Details: you are creating a set. And you require a list. Why list? Do you want to make sure duplicates are allowed? Does sequence matter? TraversableOnce could have been absolutely enough. Set could be more reasonable, but not required. But why List? Lack of education, I guess. Even a Java programmer would rather ask for an Iterable.

I wonder if there was any progress with this

http://armstrongonsoftware.blogspot.com/2008/07/ubf-and-vm-opcocde-design.html

пилюлькин прежде и теперь

Июль 14-го, торжествует: http://dr-piliulkin.livejournal.com/2014/07/18/
Июль 16-го, ищет, куда бы спрятаться: http://dr-piliulkin.livejournal.com/791702.html

грустно как это все

http://sramu.net/

an amazingly funny piece of code

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/util/ClosureCleaner.scala

ClosureCleaner

So, spark gets a function to apply to data (e.g. in foreach, or in filter). Before running it, it (like a raccoon) cleans the function.

Enjoy the nice reading.

дыбр

Жарища. Настроение не очень, нервное.

Сходили в библиотеку. Я постоянно удивляюсь, почему в библиотеках до хрена всякой дряни, а хороших книг нету. Подозреваю коррупцию.

Сидел работал. Идея такая, что в спарке есть dataset, известны имена колонок, и если его читать, то нужно понять, какой кейс-класс сработает, какой нет. Например, можно проектировать, дропая некоторые колонки; порядок тоже неважен (декартово произведение коммутативно с точностью до изоморфизма).

Вот только что (22:47) таки закончил это все, зачирикало. Начал с тестов, и эти тесты рушились, ну и т.д.

Подруга ломала диван, я помыл ванную. Такое у нас распределение труда.

Но настроение нервное.

Вечером кино смотреть не стали (да и смотреть почти нечего), а пошли прошвырнуться по местности, в полусумерках. По парку пасутся олени и охотники на покемонов. А так - посмотрели, как наш худ выглядит в сумерках.

Чай пить тоже не стали. Жарко. Ну в смысле, сейчас уже не жарко, но поздно. Послал вот Михалу мейл, что я Dataset handling порядочно пофиксил в ихней настройке над спарком.