во-от, а значит, чтобы и на железе с weak memory model работало, нужно просто барьер в нужный момент передёрнуть, типа:

    if (worker == null)
      lock (workerSyncRoot)
        if (worker == null)
        {
          My tempWorker = new MyImpl();
          Thread.MemoryBarrier();
          worker = tempWorker;
        }
    return worker;