juan_gandhi: (Default)
[personal profile] juan_gandhi
"Spark is faster than map/reduce". A guy working at Databricks is giving a talk regarding how Spark works.

Omfg; how can one possibly deal with all this?

UPD. From the same talk. cartesion()

Date: 2017-06-14 07:50 pm (UTC)
dluciv: (Default)
From: [personal profile] dluciv
По-моему это звучит примерно как «GCC быстрее C++»…

Либо я конкретно чего-то не понял.
Edited Date: 2017-06-14 07:50 pm (UTC)

Date: 2017-06-14 07:53 pm (UTC)
From: [personal profile] yussouf
картесионисты

Date: 2017-06-14 08:06 pm (UTC)
stas: (Don't panic!)
From: [personal profile] stas
Elders of Cartesion()

Date: 2017-06-14 08:10 pm (UTC)
From: [personal profile] yussouf
The Protocols!

Date: 2017-06-14 08:17 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
А что не так? Map/reduce - это чистый параллелизм вычислений, который в классическом своём виде страдает от оверхеда интерноводвого обмена данными, а Спарк - комплексное решение, включающее элменты DSM, которые способны этот класс проблем во многих случаях нивелировать. Высказал он свою мысль, конечно, коряво, но если не придираться к формулировке, то ничего неверного он не озвучил.

Date: 2017-06-14 08:19 pm (UTC)
math_mommy: аватар номер раз (Default)
From: [personal profile] math_mommy
Вы меня утешили :-)
Я тоже вроде об этом читала, но тут вдруг засомневалась.

Date: 2017-06-14 09:15 pm (UTC)
math_mommy: аватар номер раз (Default)
From: [personal profile] math_mommy
Так я как раз и интересуюсь обработкой данных. А что мапредьюс лихо отстреливается по своим собственным целям - мне глубоко фиолетово.
Edited Date: 2017-06-14 09:41 pm (UTC)

Date: 2017-06-15 02:37 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Просто Влад не считает, что конечной целью кода является максимальная производительность, а уж если при этом использованы решения, которые забракованы любимой автором парадигмой, то решение маркируется ересью, а описание - тегом idiots. :) В принципе нежная любовь к определённым клише присутствует в каком-либо виде у всех программистов (у меня она тоже есть, хоть я и давно уже этим не занимаюсь, - правда отклонение в противоположную сторону), поэтому я считаю это совершенно нормальной частью программистской деятельности (это позволяет концентрироваться на любимых подходах и достигать в них бОльших успехов), однако я склонен воспринимать подобные убеждения локальными и не экстраполировать их на всё программистсок сообщество, - это даёт в итоге лучшую гибкость при алгоритмической и хардверной оптимизации решения реальных задач.

Date: 2017-06-15 03:22 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Каким именно утверждениям? :) Я утверждаю всего лишь то, что в зависимости от задачи _любой_ подход может быть и эффективным, и неэффективным, поскольку не существует универсального подхода для всех задач. И я много раз писал здесь, что в том числе и теория категорий в виде парадигмы программирования прекрасно решает определённые классы задач, - удобнее и проще, чем прочие, - но точно так же эта парадигма совершенно не подходит для множества других задач (каких именно - я тут тоже много раз перечислял). Ни мои воззрения, ни Ваши тут роли не играют, - роль играет эффективное решение задачи в рамках ТЗ, времени, расходов и требуемой надёжности, а как именно она решается - на Спарке, скале, джаве или ассемблере, - это для заказчика вопрос даже не третий-пятый.
Edited Date: 2017-06-15 03:28 pm (UTC)

Date: 2017-06-15 04:02 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Нет, теория категорий таки является базой для определённой парадигмы программирования, поскольку речь идёт не о применимости (ибо очевидно её можно применить в том числе и в задачах императивного программирования), а об акцентах и устоявшихся конвенциях в среде апологетов.

Нет, в рамках коммерческого (неакадемического) программирования это неверное утверждение. Программист выполняет задачи заказчика, а не разговаривает со звёздами, и если заказчик в итоге недоволен продуктом по каким-то причинам, то программист профнепригоден. Задачи сейлсов не в том, чтобы объяснить заказчику, что продукт хороший, поскольку кошерный, а показать, чем именно в понятиях заказчика он лучше продуктов конкурентов (вопросы кошерности кода сюда почти никогда не входят и упоминание их является лапшой на уши инвесторам, не более того).

P.S.: если что - я тоже не писал код, который мне не нравился, даже если заказчик хотел именно такой, но это ни разу не проблема заказчика, а моя проблема (или любого другого программиста), поскольку я легко представляю себе ситуацию, при которой тот код, который нравится писать мне, для задач клиента неэффективен и надо не насиловать его своим подходом, а отправить к программисту, который решит его задачу лучше другим способом. :)

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 05:37 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 06:05 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 07:53 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 09:52 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 11:21 pm (UTC) - Expand

(no subject)

From: [personal profile] yussouf - Date: 2017-06-16 01:34 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:01 am (UTC) - Expand

(no subject)

From: [personal profile] cema - Date: 2017-06-16 03:55 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:09 pm (UTC) - Expand

(no subject)

From: [personal profile] cema - Date: 2017-06-16 08:14 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 11:01 pm (UTC) - Expand

(no subject)

From: [personal profile] cema - Date: 2017-06-18 08:53 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-19 08:05 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:19 am (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-16 06:59 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 07:32 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:14 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-16 05:33 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:51 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-16 06:13 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 06:42 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-16 11:32 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-17 12:09 am (UTC) - Expand

(no subject)

From: [personal profile] yussouf - Date: 2017-06-16 11:53 pm (UTC) - Expand

(no subject)

From: [personal profile] yussouf - Date: 2017-06-16 01:43 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-16 05:27 am (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 06:25 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 07:33 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 07:56 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 08:38 pm (UTC) - Expand

(no subject)

From: [personal profile] snowps - Date: 2017-06-15 08:41 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 10:26 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 10:42 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 10:57 pm (UTC) - Expand

(no subject)

From: [personal profile] sassa_nf - Date: 2017-06-15 10:51 pm (UTC) - Expand

Date: 2017-06-15 02:26 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Первое - это в контексте обсуждения производительности для конечного пользоваетеля всего лишь одна из технологий параллелизации вычислений, - по-моему совершенно очевидно, что человек имел в виду, что голая технология мар-редьюса имеет много недостатков по сравнению с суммой технологий параллелизации, использованной в Спарке. Математический аспект используемых алгоритмов и их кошерность интересует далеко не всех. :)

Date: 2017-06-15 03:26 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Открою страшную тайну: идея без имплементации не стОит практически ничего. :) Если есть софт, который написан в виде скрипта к Экселю, и решает задачу клиента лучше, чем аналогичный софт, написанный на си или скале, то первое решение лучше и тут ничего не поделать (как бы благородный гнев попрания устоев не вскипал у Вас или у меня).

Date: 2017-06-15 04:11 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Клиент обычно хочет, чтобы у него что-то работало быстро, недорого и надёжно, - вернее присутствует желание устаканить компромисс этих трёх параметров. Если мой подход для решения его задачи неэффективен - надо отсылать его к тому программисту, чей подход эффективнее. Точно так же должен делать другой программист, когда к нему приходят с задачей, которую лучше решать моим подходом. Разумеется это всё идиллическая картина, на практике она работает только в узкопрофессиональной среде, где все всё понимают и никто не своим делом заниматься не будет, а в энетрпрайз софте все сплошь продают клиенту не то, что ему надо. Если хочется писать для себя - надо не заморачиваться оценкой клиентской привлекательности своего творчества, но тогда надо быть готовым к тому, что продукт работодателю окажется не нужен или неудобен, что приведёт к смене работы и конфликтам. Я решил этот вопрос для себя уходом из программирования и считаю это много честнее, чем навязывать своё представление о том, что есть правильно, некомпетентным клиентам. :)

По поводу иллюстрации - и кто в нашей беседе призывает к дифференциации подходов, а кто - к башингу некошерного, а? :)
Edited Date: 2017-06-15 04:24 pm (UTC)

Date: 2017-06-14 08:33 pm (UTC)
gemelen: (Default)
From: [personal profile] gemelen
Ну, вообще говоря, это продающий слоган Spark. И он соответствует правде, если закрыть глаза на некоторые детали. Только за этим стоит вполне тривиальная вещь: "Spark processes data in-memory while Hadoop MapReduce persists back to the disk after a map or reduce action"
Edited Date: 2017-06-14 08:33 pm (UTC)

Date: 2017-06-15 04:38 pm (UTC)
snowps: (Default)
From: [personal profile] snowps
Ключевое тут - "и он соответствует правде", а эти самые "детали" как раз и увеличивают эффективность для ряда реальных задач. :)

Date: 2017-06-14 10:04 pm (UTC)
errorrishe: (Default)
From: [personal profile] errorrishe
так может доклад для менеджеров - им и так пойдет хули

Date: 2017-06-14 10:46 pm (UTC)
lev: (Default)
From: [personal profile] lev
cartesion: частица, переносчик катрезианства

Profile

juan_gandhi: (Default)
juan_gandhi

June 2017

S M T W T F S
     1 2 3
4 5 67 8 9 10
11 12 13 14 15 16 17
18 19 20 21 222324
252627282930 

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jun. 22nd, 2017 06:29 pm
Powered by Dreamwidth Studios