juan_gandhi: (Default)
Juan-Carlos Gandhi ([personal profile] juan_gandhi) wrote2007-04-11 02:48 pm

java synchronization gone wild and back

Hey, so, you, like everyone else, decided to make your static initialization thread-safe. You have a singleton that is hard to instantiate, and You have something like this:


static My worker;

static My worker() {
  if (worker == null) {
    worker = new MyImplementation();
  }
  return worker;
}


and it does not work, because, say, a dozen of servlet threads in parallel are trying to reinitialize your singleton like crazy; a minute that it takes to instantiate one, turns into 12 minutes, since all 12 are trying to do the same.

Okay, you synchronize it:


static My worker;

static synchronized worker() {
  if (worker == null) {
    worker = new MyImplementation();
  }
  return worker;
}


In this case you lock execution on the whole class; your class may have a bunch of other singletons, and they will all stand in line waiting for this specific singleton to be retrieved - looks stupid, right? so you introduce a gentle check:


static My worker;

static worker() {
  if (worker == null) {
    synchronized {
      worker = new MyImplementation();
    }
  }
  return worker;
}


See, before instantiating, you check whether it is instantiated already.

The trouble is, your twelve threads will get through this check and wait on the same barrier before synchronized block, and then will instantiate the singleton, one after another, taking 12 minutes in total. Okay, you get angry, you open a book and steal a solution, the famous double-check trick:


static My worker;

static worker() {
  if (worker == null) {
    synchronized {
      if (worker == null) {
        worker = new MyImplementation();
      }
    }
  }
  return worker;
}


Now you feel good, the threads would not reinitialize the same singleton, because when the second threads penetrates the synchronized block, worker is already not null. You feel good... but then you open Josh and Neal's Java Puzzlers, and see that oops, this won't work on a multiprocessor machine. Why? See, by the time the first thread leaves the syncrhonized block, the value of worker may not reach the memory shared by the threads.

So, the solution suggested is this:


static My worker;
private interface HR {
  My getWorker();
}

private static HR catbert = new HR() {
  My worker = new MyImplementation();
  My getWorker() {
    return worker;
  }
}

static worker() {
  return catbert.getWorker();
}


See, the trick is that the singleton is provided by a static class, which is loaded strictly once, which is guaranteed by the class loader.

Now enters "new Java 5", not sure which one, 1.5.0.6 or 1.5.0.7. Bug fixed. All you have to do is declare My worker volatile:


volatile static My worker;

static worker() {
  if (worker == null) {
    synchronized {
      if (worker == null) {
        worker = new MyImplementation();
      }
    }
  }
  return worker;
}


So, now we are back to circle 3: after a bugfix, double checks are legal again.

[identity profile] itman.livejournal.com 2007-04-12 01:42 am (UTC)(link)
but then you open Josh and Neal's Java Puzzlers, and see that oops, this won't work on a multiprocessor machine. Why? See, by the time the first thread leaves the syncrhonized block, the value of worker may not reach the memory shared by the threads.

Интересно, а какова физика этого явления? Дело в том, что если в ячейку X ровно один поток имеет возможность записывать значение, а остальные потоки имеют права прочесть это значение, но строго после того, как поток значение записал, то никакой неодназначности быть не может. Единственное, что мне приходит в голову: процесс заглядывает вперед, заполняет конвеер и "подсасывает" значения переменных в процессорный кеш. И читает, соответственно, тоже из кеша.
Я прямо скажем абсолютно никакой специалист по архитектуре ЭВМ и не понимаю, а может ли такое случиться. Интересно понять, а что же происходит на самом деле.

[identity profile] ivan-gandhi.livejournal.com 2007-04-12 01:47 am (UTC)(link)
Да всё просто; у каждого процессора свой кеш, и всё складывать сразу в память - слишком, говорят, дорого всё всё время синхронизировать.

[identity profile] itman.livejournal.com 2007-04-12 02:41 am (UTC)(link)
Любопытно, с phtread_mutex'ами проделывать подобные операции всегда

безопасно.
(http://cvsweb.netbsd.org/bsdweb.cgi/src/lib/libpthread/pthread_mutex.c?rev=1.27&content-type=text/x-cvsweb-markup)
/*
* Note regarding memory visibility: Pthreads has rules about memory
* visibility and mutexes. Very roughly: Memory a thread can see when
* it unlocks a mutex can be seen by another thread that locks the
* same mutex.

*
* A memory barrier after a lock and before an unlock will provide
* this behavior. This code relies on pthread__simple_lock_try() to issue
* a barrier after obtaining a lock, and on pthread__simple_unlock() to
* issue a barrier before releasing a lock.
*/

Неужели synchronized в Java работает по-другому? Вот, например, в статье в Java World за 2001ый год Алан Голуб пишет буквально следующее:
"Memory barriers surround synchronization To summarize, synchronization implies a memory barrier. In that case, two exist: one barrier associated with entering a synchronized block or method and another associated with leaving it"
Неужели "гонит"?

[identity profile] itman.livejournal.com 2007-04-12 02:43 am (UTC)(link)
пардон, вот сама статья (http://www.roseindia.net/software-tutorials/detail/2715)

[identity profile] ivan-gandhi.livejournal.com 2007-04-12 03:48 pm (UTC)(link)
Эта теория многих сбивала с толку, в том числе и меня. Хотелось бы, конечно, выслушать аргументы, почему оно не работает, но скорее всего именно поэтому, что надоест синхронизировать на каждый чих, особенно если процессоров много.

[identity profile] itman.livejournal.com 2007-04-12 08:00 pm (UTC)(link)
Как я там уже где-то писал в комментариях, теория не работает потому, что нужно выставлять барьер между инициализацией класса и "публикацией" ссылки класса "наружу". Потому что, де факто инициализация может случиться позже присваивания. Из-за пресловутого operation reordering. И тогда первый тред, который еще не зашел в синхронизированный блок, может увидеть не NULL ссылку на недостроенный объект и начать работать с ним. В плюсах будет точно такая же фигня.
Volatile в java, насколько я понимаю, делает этот самый memory barrier на кажду операцию доступа к volatile переменной. Таким образом, проверка
if (worker == NULL)
вне synchronized перестает, наверное, "облегченной". Вот тут, например, (http://blogs.msdn.com/brada/archive/2004/05/12/130935.aspx) говорят, что лучше не использовать volatile, а явным образом использовать memory barrier. В частности, это всегда корректно даже при отложенной инициализации.

[identity profile] 109.livejournal.com 2007-04-12 08:13 am (UTC)(link)
насколько я понял, выход из лока как раз гарантирует синхронизацию, независимо от количества процессоров и их кэшей. store.release semantics, whatever that means. то есть вторая проверка _никогда_ не увидит null, если инициализация уже произошла. проблема в том, что _первая_ проверка может увидеть не null из-за реордеринга операций внутри лока. использование слова volatile решает именно эту проблему, запрещая реордеринг операции присвоения волатильной переменной. интересно, что слово volatile в естественном языке означает нечто обратное по смыслу, а сюда бы как раз подошло ключевое слово типа "solid" или "enforce" на худой конец.

[identity profile] vital-sol.livejournal.com 2007-04-12 06:16 pm (UTC)(link)
если у каждого процессора свой кэш, тогда каждому процессору нужен свой синглтон, получается.

[identity profile] sab123.livejournal.com 2007-04-12 04:23 pm (UTC)(link)
Криворукая Сановская архитектура. Вместо того, чтобы делать консистентность кэшей в железе (как Интел), они полагаются на явные барьеры в программах. Т.е. есть такая явная инструкция "синхронизировать кэш". Экономии железа при этом с гулькин нос, но зато сколько геморрою! И, кстати, как я понимаю, производительность при железной (как у Интела) синхронизации кэшей все равно получается лучше за счет того, что меньше невинных неразделяемых данных сваливается из кэша в память.