src/liballoc/arc.rs

   1 // Copyright 2012-2014 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 #![stable(feature = "rust1", since = "1.0.0")]
  12
  13 //! Thread-safe reference-counting pointers.
  14 //!
  15 //! See the [`Arc<T>`][arc] documentation for more details.
  16 //!
  17 //! [arc]: struct.Arc.html
  18
  19 use core::sync::atomic;
  20 use core::sync::atomic::Ordering::{Acquire, Relaxed, Release, SeqCst};
  21 use core::borrow;
  22 use core::fmt;
  23 use core::cmp::Ordering;
  24 use core::intrinsics::abort;
  25 use core::mem::{self, align_of_val, size_of_val, uninitialized};
  26 use core::ops::Deref;
  27 use core::ops::CoerceUnsized;
  28 use core::ptr::{self, NonNull};
  29 use core::marker::{Unsize, PhantomData};
  30 use core::hash::{Hash, Hasher};
  31 use core::{isize, usize};
  32 use core::convert::From;
  33
  34 use alloc::{Global, Alloc, Layout, box_free, oom};
  35 use boxed::Box;
  36 use string::String;
  37 use vec::Vec;
  38
  39 /// A soft limit on the amount of references that may be made to an `Arc`.
  40 ///
  41 /// Going above this limit will abort your program (although not
  42 /// necessarily) at _exactly_ `MAX_REFCOUNT + 1` references.
  43 const MAX_REFCOUNT: usize = (isize::MAX) as usize;
  44
  45 /// A thread-safe reference-counting pointer. 'Arc' stands for 'Atomically
  46 /// Reference Counted'.
  47 ///
  48 /// The type `Arc<T>` provides shared ownership of a value of type `T`,
  49 /// allocated in the heap. Invoking [`clone`][clone] on `Arc` produces
  50 /// a new pointer to the same value in the heap. When the last `Arc`
  51 /// pointer to a given value is destroyed, the pointed-to value is
  52 /// also destroyed.
  53 ///
  54 /// Shared references in Rust disallow mutation by default, and `Arc` is no
  55 /// exception: you cannot generally obtain a mutable reference to something
  56 /// inside an `Arc`. If you need to mutate through an `Arc`, use
  57 /// [`Mutex`][mutex], [`RwLock`][rwlock], or one of the [`Atomic`][atomic]
  58 /// types.
  59 ///
  60 /// ## Thread Safety
  61 ///
  62 /// Unlike [`Rc<T>`], `Arc<T>` uses atomic operations for its reference
  63 /// counting. This means that it is thread-safe. The disadvantage is that
  64 /// atomic operations are more expensive than ordinary memory accesses. If you
  65 /// are not sharing reference-counted values between threads, consider using
  66 /// [`Rc<T>`] for lower overhead. [`Rc<T>`] is a safe default, because the
  67 /// compiler will catch any attempt to send an [`Rc<T>`] between threads.
  68 /// However, a library might choose `Arc<T>` in order to give library consumers
  69 /// more flexibility.
  70 ///
  71 /// `Arc<T>` will implement [`Send`] and [`Sync`] as long as the `T` implements
  72 /// [`Send`] and [`Sync`]. Why can't you put a non-thread-safe type `T` in an
  73 /// `Arc<T>` to make it thread-safe? This may be a bit counter-intuitive at
  74 /// first: after all, isn't the point of `Arc<T>` thread safety? The key is
  75 /// this: `Arc<T>` makes it thread safe to have multiple ownership of the same
  76 /// data, but it  doesn't add thread safety to its data. Consider
  77 /// `Arc<`[`RefCell<T>`]`>`. [`RefCell<T>`] isn't [`Sync`], and if `Arc<T>` was always
  78 /// [`Send`], `Arc<`[`RefCell<T>`]`>` would be as well. But then we'd have a problem:
  79 /// [`RefCell<T>`] is not thread safe; it keeps track of the borrowing count using
  80 /// non-atomic operations.
  81 ///
  82 /// In the end, this means that you may need to pair `Arc<T>` with some sort of
  83 /// [`std::sync`] type, usually [`Mutex<T>`][mutex].
  84 ///
  85 /// ## Breaking cycles with `Weak`
  86 ///
  87 /// The [`downgrade`][downgrade] method can be used to create a non-owning
  88 /// [`Weak`][weak] pointer. A [`Weak`][weak] pointer can be [`upgrade`][upgrade]d
  89 /// to an `Arc`, but this will return [`None`] if the value has already been
  90 /// dropped.
  91 ///
  92 /// A cycle between `Arc` pointers will never be deallocated. For this reason,
  93 /// [`Weak`][weak] is used to break cycles. For example, a tree could have
  94 /// strong `Arc` pointers from parent nodes to children, and [`Weak`][weak]
  95 /// pointers from children back to their parents.
  96 ///
  97 /// # Cloning references
  98 ///
  99 /// Creating a new reference from an existing reference counted pointer is done using the
 100 /// `Clone` trait implemented for [`Arc<T>`][arc] and [`Weak<T>`][weak].
 101 ///
 102 /// ```
 103 /// use std::sync::Arc;
 104 /// let foo = Arc::new(vec![1.0, 2.0, 3.0]);
 105 /// // The two syntaxes below are equivalent.
 106 /// let a = foo.clone();
 107 /// let b = Arc::clone(&foo);
 108 /// // a and b both point to the same memory location as foo.
 109 /// ```
 110 ///
 111 /// The [`Arc::clone(&from)`] syntax is the most idiomatic because it conveys more explicitly
 112 /// the meaning of the code. In the example above, this syntax makes it easier to see that
 113 /// this code is creating a new reference rather than copying the whole content of foo.
 114 ///
 115 /// ## `Deref` behavior
 116 ///
 117 /// `Arc<T>` automatically dereferences to `T` (via the [`Deref`][deref] trait),
 118 /// so you can call `T`'s methods on a value of type `Arc<T>`. To avoid name
 119 /// clashes with `T`'s methods, the methods of `Arc<T>` itself are [associated
 120 /// functions][assoc], called using function-like syntax:
 121 ///
 122 /// ```
 123 /// use std::sync::Arc;
 124 /// let my_arc = Arc::new(());
 125 ///
 126 /// Arc::downgrade(&my_arc);
 127 /// ```
 128 ///
 129 /// [`Weak<T>`][weak] does not auto-dereference to `T`, because the value may have
 130 /// already been destroyed.
 131 ///
 132 /// [arc]: struct.Arc.html
 133 /// [weak]: struct.Weak.html
 134 /// [`Rc<T>`]: ../../std/rc/struct.Rc.html
 135 /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
 136 /// [mutex]: ../../std/sync/struct.Mutex.html
 137 /// [rwlock]: ../../std/sync/struct.RwLock.html
 138 /// [atomic]: ../../std/sync/atomic/index.html
 139 /// [`Send`]: ../../std/marker/trait.Send.html
 140 /// [`Sync`]: ../../std/marker/trait.Sync.html
 141 /// [deref]: ../../std/ops/trait.Deref.html
 142 /// [downgrade]: struct.Arc.html#method.downgrade
 143 /// [upgrade]: struct.Weak.html#method.upgrade
 144 /// [`None`]: ../../std/option/enum.Option.html#variant.None
 145 /// [assoc]: ../../book/first-edition/method-syntax.html#associated-functions
 146 /// [`RefCell<T>`]: ../../std/cell/struct.RefCell.html
 147 /// [`std::sync`]: ../../std/sync/index.html
 148 /// [`Arc::clone(&from)`]: #method.clone
 149 ///
 150 /// # Examples
 151 ///
 152 /// Sharing some immutable data between threads:
 153 ///
 154 // Note that we **do not** run these tests here. The windows builders get super
 155 // unhappy if a thread outlives the main thread and then exits at the same time
 156 // (something deadlocks) so we just avoid this entirely by not running these
 157 // tests.
 158 /// ```no_run
 159 /// use std::sync::Arc;
 160 /// use std::thread;
 161 ///
 162 /// let five = Arc::new(5);
 163 ///
 164 /// for _ in 0..10 {
 165 ///     let five = Arc::clone(&five);
 166 ///
 167 ///     thread::spawn(move || {
 168 ///         println!("{:?}", five);
 169 ///     });
 170 /// }
 171 /// ```
 172 ///
 173 /// Sharing a mutable [`AtomicUsize`]:
 174 ///
 175 /// [`AtomicUsize`]: ../../std/sync/atomic/struct.AtomicUsize.html
 176 ///
 177 /// ```no_run
 178 /// use std::sync::Arc;
 179 /// use std::sync::atomic::{AtomicUsize, Ordering};
 180 /// use std::thread;
 181 ///
 182 /// let val = Arc::new(AtomicUsize::new(5));
 183 ///
 184 /// for _ in 0..10 {
 185 ///     let val = Arc::clone(&val);
 186 ///
 187 ///     thread::spawn(move || {
 188 ///         let v = val.fetch_add(1, Ordering::SeqCst);
 189 ///         println!("{:?}", v);
 190 ///     });
 191 /// }
 192 /// ```
 193 ///
 194 /// See the [`rc` documentation][rc_examples] for more examples of reference
 195 /// counting in general.
 196 ///
 197 /// [rc_examples]: ../../std/rc/index.html#examples
 198 #[stable(feature = "rust1", since = "1.0.0")]
 199 pub struct Arc<T: ?Sized> {
 200     ptr: NonNull<ArcInner<T>>,
 201     phantom: PhantomData<T>,
 202 }
 203
 204 #[stable(feature = "rust1", since = "1.0.0")]
 205 unsafe impl<T: ?Sized + Sync + Send> Send for Arc<T> {}
 206 #[stable(feature = "rust1", since = "1.0.0")]
 207 unsafe impl<T: ?Sized + Sync + Send> Sync for Arc<T> {}
 208
 209 #[unstable(feature = "coerce_unsized", issue = "27732")]
 210 impl<T: ?Sized + Unsize<U>, U: ?Sized> CoerceUnsized<Arc<U>> for Arc<T> {}
 211
 212 /// `Weak` is a version of [`Arc`] that holds a non-owning reference to the
 213 /// managed value. The value is accessed by calling [`upgrade`] on the `Weak`
 214 /// pointer, which returns an [`Option`]`<`[`Arc`]`<T>>`.
 215 ///
 216 /// Since a `Weak` reference does not count towards ownership, it will not
 217 /// prevent the inner value from being dropped, and `Weak` itself makes no
 218 /// guarantees about the value still being present and may return [`None`]
 219 /// when [`upgrade`]d.
 220 ///
 221 /// A `Weak` pointer is useful for keeping a temporary reference to the value
 222 /// within [`Arc`] without extending its lifetime. It is also used to prevent
 223 /// circular references between [`Arc`] pointers, since mutual owning references
 224 /// would never allow either [`Arc`] to be dropped. For example, a tree could
 225 /// have strong [`Arc`] pointers from parent nodes to children, and `Weak`
 226 /// pointers from children back to their parents.
 227 ///
 228 /// The typical way to obtain a `Weak` pointer is to call [`Arc::downgrade`].
 229 ///
 230 /// [`Arc`]: struct.Arc.html
 231 /// [`Arc::downgrade`]: struct.Arc.html#method.downgrade
 232 /// [`upgrade`]: struct.Weak.html#method.upgrade
 233 /// [`Option`]: ../../std/option/enum.Option.html
 234 /// [`None`]: ../../std/option/enum.Option.html#variant.None
 235 #[stable(feature = "arc_weak", since = "1.4.0")]
 236 pub struct Weak<T: ?Sized> {
 237     ptr: NonNull<ArcInner<T>>,
 238 }
 239
 240 #[stable(feature = "arc_weak", since = "1.4.0")]
 241 unsafe impl<T: ?Sized + Sync + Send> Send for Weak<T> {}
 242 #[stable(feature = "arc_weak", since = "1.4.0")]
 243 unsafe impl<T: ?Sized + Sync + Send> Sync for Weak<T> {}
 244
 245 #[unstable(feature = "coerce_unsized", issue = "27732")]
 246 impl<T: ?Sized + Unsize<U>, U: ?Sized> CoerceUnsized<Weak<U>> for Weak<T> {}
 247
 248 #[stable(feature = "arc_weak", since = "1.4.0")]
 249 impl<T: ?Sized + fmt::Debug> fmt::Debug for Weak<T> {
 250     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
 251         write!(f, "(Weak)")
 252     }
 253 }
 254
 255 struct ArcInner<T: ?Sized> {
 256     strong: atomic::AtomicUsize,
 257
 258     // the value usize::MAX acts as a sentinel for temporarily "locking" the
 259     // ability to upgrade weak pointers or downgrade strong ones; this is used
 260     // to avoid races in `make_mut` and `get_mut`.
 261     weak: atomic::AtomicUsize,
 262
 263     data: T,
 264 }
 265
 266 unsafe impl<T: ?Sized + Sync + Send> Send for ArcInner<T> {}
 267 unsafe impl<T: ?Sized + Sync + Send> Sync for ArcInner<T> {}
 268
 269 impl<T> Arc<T> {
 270     /// Constructs a new `Arc<T>`.
 271     ///
 272     /// # Examples
 273     ///
 274     /// ```
 275     /// use std::sync::Arc;
 276     ///
 277     /// let five = Arc::new(5);
 278     /// ```
 279     #[inline]
 280     #[stable(feature = "rust1", since = "1.0.0")]
 281     pub fn new(data: T) -> Arc<T> {
 282         // Start the weak pointer count as 1 which is the weak pointer that's
 283         // held by all the strong pointers (kinda), see std/rc.rs for more info
 284         let x: Box<_> = box ArcInner {
 285             strong: atomic::AtomicUsize::new(1),
 286             weak: atomic::AtomicUsize::new(1),
 287             data,
 288         };
 289         Arc { ptr: Box::into_raw_non_null(x), phantom: PhantomData }
 290     }
 291
 292     /// Returns the contained value, if the `Arc` has exactly one strong reference.
 293     ///
 294     /// Otherwise, an [`Err`][result] is returned with the same `Arc` that was
 295     /// passed in.
 296     ///
 297     /// This will succeed even if there are outstanding weak references.
 298     ///
 299     /// [result]: ../../std/result/enum.Result.html
 300     ///
 301     /// # Examples
 302     ///
 303     /// ```
 304     /// use std::sync::Arc;
 305     ///
 306     /// let x = Arc::new(3);
 307     /// assert_eq!(Arc::try_unwrap(x), Ok(3));
 308     ///
 309     /// let x = Arc::new(4);
 310     /// let _y = Arc::clone(&x);
 311     /// assert_eq!(*Arc::try_unwrap(x).unwrap_err(), 4);
 312     /// ```
 313     #[inline]
 314     #[stable(feature = "arc_unique", since = "1.4.0")]
 315     pub fn try_unwrap(this: Self) -> Result<T, Self> {
 316         // See `drop` for why all these atomics are like this
 317         if this.inner().strong.compare_exchange(1, 0, Release, Relaxed).is_err() {
 318             return Err(this);
 319         }
 320
 321         atomic::fence(Acquire);
 322
 323         unsafe {
 324             let elem = ptr::read(&this.ptr.as_ref().data);
 325
 326             // Make a weak pointer to clean up the implicit strong-weak reference
 327             let _weak = Weak { ptr: this.ptr };
 328             mem::forget(this);
 329
 330             Ok(elem)
 331         }
 332     }
 333 }
 334
 335 impl<T: ?Sized> Arc<T> {
 336     /// Consumes the `Arc`, returning the wrapped pointer.
 337     ///
 338     /// To avoid a memory leak the pointer must be converted back to an `Arc` using
 339     /// [`Arc::from_raw`][from_raw].
 340     ///
 341     /// [from_raw]: struct.Arc.html#method.from_raw
 342     ///
 343     /// # Examples
 344     ///
 345     /// ```
 346     /// use std::sync::Arc;
 347     ///
 348     /// let x = Arc::new(10);
 349     /// let x_ptr = Arc::into_raw(x);
 350     /// assert_eq!(unsafe { *x_ptr }, 10);
 351     /// ```
 352     #[stable(feature = "rc_raw", since = "1.17.0")]
 353     pub fn into_raw(this: Self) -> *const T {
 354         let ptr: *const T = &*this;
 355         mem::forget(this);
 356         ptr
 357     }
 358
 359     /// Constructs an `Arc` from a raw pointer.
 360     ///
 361     /// The raw pointer must have been previously returned by a call to a
 362     /// [`Arc::into_raw`][into_raw].
 363     ///
 364     /// This function is unsafe because improper use may lead to memory problems. For example, a
 365     /// double-free may occur if the function is called twice on the same raw pointer.
 366     ///
 367     /// [into_raw]: struct.Arc.html#method.into_raw
 368     ///
 369     /// # Examples
 370     ///
 371     /// ```
 372     /// use std::sync::Arc;
 373     ///
 374     /// let x = Arc::new(10);
 375     /// let x_ptr = Arc::into_raw(x);
 376     ///
 377     /// unsafe {
 378     ///     // Convert back to an `Arc` to prevent leak.
 379     ///     let x = Arc::from_raw(x_ptr);
 380     ///     assert_eq!(*x, 10);
 381     ///
 382     ///     // Further calls to `Arc::from_raw(x_ptr)` would be memory unsafe.
 383     /// }
 384     ///
 385     /// // The memory was freed when `x` went out of scope above, so `x_ptr` is now dangling!
 386     /// ```
 387     #[stable(feature = "rc_raw", since = "1.17.0")]
 388     pub unsafe fn from_raw(ptr: *const T) -> Self {
 389         // Align the unsized value to the end of the ArcInner.
 390         // Because it is ?Sized, it will always be the last field in memory.
 391         let align = align_of_val(&*ptr);
 392         let layout = Layout::new::<ArcInner<()>>();
 393         let offset = (layout.size() + layout.padding_needed_for(align)) as isize;
 394
 395         // Reverse the offset to find the original ArcInner.
 396         let fake_ptr = ptr as *mut ArcInner<T>;
 397         let arc_ptr = set_data_ptr(fake_ptr, (ptr as *mut u8).offset(-offset));
 398
 399         Arc {
 400             ptr: NonNull::new_unchecked(arc_ptr),
 401             phantom: PhantomData,
 402         }
 403     }
 404
 405     /// Creates a new [`Weak`][weak] pointer to this value.
 406     ///
 407     /// [weak]: struct.Weak.html
 408     ///
 409     /// # Examples
 410     ///
 411     /// ```
 412     /// use std::sync::Arc;
 413     ///
 414     /// let five = Arc::new(5);
 415     ///
 416     /// let weak_five = Arc::downgrade(&five);
 417     /// ```
 418     #[stable(feature = "arc_weak", since = "1.4.0")]
 419     pub fn downgrade(this: &Self) -> Weak<T> {
 420         // This Relaxed is OK because we're checking the value in the CAS
 421         // below.
 422         let mut cur = this.inner().weak.load(Relaxed);
 423
 424         loop {
 425             // check if the weak counter is currently "locked"; if so, spin.
 426             if cur == usize::MAX {
 427                 cur = this.inner().weak.load(Relaxed);
 428                 continue;
 429             }
 430
 431             // NOTE: this code currently ignores the possibility of overflow
 432             // into usize::MAX; in general both Rc and Arc need to be adjusted
 433             // to deal with overflow.
 434
 435             // Unlike with Clone(), we need this to be an Acquire read to
 436             // synchronize with the write coming from `is_unique`, so that the
 437             // events prior to that write happen before this read.
 438             match this.inner().weak.compare_exchange_weak(cur, cur + 1, Acquire, Relaxed) {
 439                 Ok(_) => return Weak { ptr: this.ptr },
 440                 Err(old) => cur = old,
 441             }
 442         }
 443     }
 444
 445     /// Gets the number of [`Weak`][weak] pointers to this value.
 446     ///
 447     /// [weak]: struct.Weak.html
 448     ///
 449     /// # Safety
 450     ///
 451     /// This method by itself is safe, but using it correctly requires extra care.
 452     /// Another thread can change the weak count at any time,
 453     /// including potentially between calling this method and acting on the result.
 454     ///
 455     /// # Examples
 456     ///
 457     /// ```
 458     /// use std::sync::Arc;
 459     ///
 460     /// let five = Arc::new(5);
 461     /// let _weak_five = Arc::downgrade(&five);
 462     ///
 463     /// // This assertion is deterministic because we haven't shared
 464     /// // the `Arc` or `Weak` between threads.
 465     /// assert_eq!(1, Arc::weak_count(&five));
 466     /// ```
 467     #[inline]
 468     #[stable(feature = "arc_counts", since = "1.15.0")]
 469     pub fn weak_count(this: &Self) -> usize {
 470         let cnt = this.inner().weak.load(SeqCst);
 471         // If the weak count is currently locked, the value of the
 472         // count was 0 just before taking the lock.
 473         if cnt == usize::MAX { 0 } else { cnt - 1 }
 474     }
 475
 476     /// Gets the number of strong (`Arc`) pointers to this value.
 477     ///
 478     /// # Safety
 479     ///
 480     /// This method by itself is safe, but using it correctly requires extra care.
 481     /// Another thread can change the strong count at any time,
 482     /// including potentially between calling this method and acting on the result.
 483     ///
 484     /// # Examples
 485     ///
 486     /// ```
 487     /// use std::sync::Arc;
 488     ///
 489     /// let five = Arc::new(5);
 490     /// let _also_five = Arc::clone(&five);
 491     ///
 492     /// // This assertion is deterministic because we haven't shared
 493     /// // the `Arc` between threads.
 494     /// assert_eq!(2, Arc::strong_count(&five));
 495     /// ```
 496     #[inline]
 497     #[stable(feature = "arc_counts", since = "1.15.0")]
 498     pub fn strong_count(this: &Self) -> usize {
 499         this.inner().strong.load(SeqCst)
 500     }
 501
 502     #[inline]
 503     fn inner(&self) -> &ArcInner<T> {
 504         // This unsafety is ok because while this arc is alive we're guaranteed
 505         // that the inner pointer is valid. Furthermore, we know that the
 506         // `ArcInner` structure itself is `Sync` because the inner data is
 507         // `Sync` as well, so we're ok loaning out an immutable pointer to these
 508         // contents.
 509         unsafe { self.ptr.as_ref() }
 510     }
 511
 512     // Non-inlined part of `drop`.
 513     #[inline(never)]
 514     unsafe fn drop_slow(&mut self) {
 515         // Destroy the data at this time, even though we may not free the box
 516         // allocation itself (there may still be weak pointers lying around).
 517         ptr::drop_in_place(&mut self.ptr.as_mut().data);
 518
 519         if self.inner().weak.fetch_sub(1, Release) == 1 {
 520             atomic::fence(Acquire);
 521             Global.dealloc(self.ptr.as_opaque(), Layout::for_value(self.ptr.as_ref()))
 522         }
 523     }
 524
 525     #[inline]
 526     #[stable(feature = "ptr_eq", since = "1.17.0")]
 527     /// Returns true if the two `Arc`s point to the same value (not
 528     /// just values that compare as equal).
 529     ///
 530     /// # Examples
 531     ///
 532     /// ```
 533     /// use std::sync::Arc;
 534     ///
 535     /// let five = Arc::new(5);
 536     /// let same_five = Arc::clone(&five);
 537     /// let other_five = Arc::new(5);
 538     ///
 539     /// assert!(Arc::ptr_eq(&five, &same_five));
 540     /// assert!(!Arc::ptr_eq(&five, &other_five));
 541     /// ```
 542     pub fn ptr_eq(this: &Self, other: &Self) -> bool {
 543         this.ptr.as_ptr() == other.ptr.as_ptr()
 544     }
 545 }
 546
 547 impl<T: ?Sized> Arc<T> {
 548     // Allocates an `ArcInner<T>` with sufficient space for an unsized value
 549     unsafe fn allocate_for_ptr(ptr: *const T) -> *mut ArcInner<T> {
 550         // Create a fake ArcInner to find allocation size and alignment
 551         let fake_ptr = ptr as *mut ArcInner<T>;
 552
 553         let layout = Layout::for_value(&*fake_ptr);
 554
 555         let mem = Global.alloc(layout)
 556             .unwrap_or_else(|_| oom());
 557
 558         // Initialize the real ArcInner
 559         let inner = set_data_ptr(ptr as *mut T, mem.as_ptr() as *mut u8) as *mut ArcInner<T>;
 560
 561         ptr::write(&mut (*inner).strong, atomic::AtomicUsize::new(1));
 562         ptr::write(&mut (*inner).weak, atomic::AtomicUsize::new(1));
 563
 564         inner
 565     }
 566
 567     fn from_box(v: Box<T>) -> Arc<T> {
 568         unsafe {
 569             let box_unique = Box::into_unique(v);
 570             let bptr = box_unique.as_ptr();
 571
 572             let value_size = size_of_val(&*bptr);
 573             let ptr = Self::allocate_for_ptr(bptr);
 574
 575             // Copy value as bytes
 576             ptr::copy_nonoverlapping(
 577                 bptr as *const T as *const u8,
 578                 &mut (*ptr).data as *mut _ as *mut u8,
 579                 value_size);
 580
 581             // Free the allocation without dropping its contents
 582             box_free(box_unique);
 583
 584             Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
 585         }
 586     }
 587 }
 588
 589 // Sets the data pointer of a `?Sized` raw pointer.
 590 //
 591 // For a slice/trait object, this sets the `data` field and leaves the rest
 592 // unchanged. For a sized raw pointer, this simply sets the pointer.
 593 unsafe fn set_data_ptr<T: ?Sized, U>(mut ptr: *mut T, data: *mut U) -> *mut T {
 594     ptr::write(&mut ptr as *mut _ as *mut *mut u8, data as *mut u8);
 595     ptr
 596 }
 597
 598 impl<T> Arc<[T]> {
 599     // Copy elements from slice into newly allocated Arc<[T]>
 600     //
 601     // Unsafe because the caller must either take ownership or bind `T: Copy`
 602     unsafe fn copy_from_slice(v: &[T]) -> Arc<[T]> {
 603         let v_ptr = v as *const [T];
 604         let ptr = Self::allocate_for_ptr(v_ptr);
 605
 606         ptr::copy_nonoverlapping(
 607             v.as_ptr(),
 608             &mut (*ptr).data as *mut [T] as *mut T,
 609             v.len());
 610
 611         Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
 612     }
 613 }
 614
 615 // Specialization trait used for From<&[T]>
 616 trait ArcFromSlice<T> {
 617     fn from_slice(slice: &[T]) -> Self;
 618 }
 619
 620 impl<T: Clone> ArcFromSlice<T> for Arc<[T]> {
 621     #[inline]
 622     default fn from_slice(v: &[T]) -> Self {
 623         // Panic guard while cloning T elements.
 624         // In the event of a panic, elements that have been written
 625         // into the new ArcInner will be dropped, then the memory freed.
 626         struct Guard<T> {
 627             mem: NonNull<u8>,
 628             elems: *mut T,
 629             layout: Layout,
 630             n_elems: usize,
 631         }
 632
 633         impl<T> Drop for Guard<T> {
 634             fn drop(&mut self) {
 635                 use core::slice::from_raw_parts_mut;
 636
 637                 unsafe {
 638                     let slice = from_raw_parts_mut(self.elems, self.n_elems);
 639                     ptr::drop_in_place(slice);
 640
 641                     Global.dealloc(self.mem.as_opaque(), self.layout.clone());
 642                 }
 643             }
 644         }
 645
 646         unsafe {
 647             let v_ptr = v as *const [T];
 648             let ptr = Self::allocate_for_ptr(v_ptr);
 649
 650             let mem = ptr as *mut _ as *mut u8;
 651             let layout = Layout::for_value(&*ptr);
 652
 653             // Pointer to first element
 654             let elems = &mut (*ptr).data as *mut [T] as *mut T;
 655
 656             let mut guard = Guard{
 657                 mem: NonNull::new_unchecked(mem),
 658                 elems: elems,
 659                 layout: layout,
 660                 n_elems: 0,
 661             };
 662
 663             for (i, item) in v.iter().enumerate() {
 664                 ptr::write(elems.offset(i as isize), item.clone());
 665                 guard.n_elems += 1;
 666             }
 667
 668             // All clear. Forget the guard so it doesn't free the new ArcInner.
 669             mem::forget(guard);
 670
 671             Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
 672         }
 673     }
 674 }
 675
 676 impl<T: Copy> ArcFromSlice<T> for Arc<[T]> {
 677     #[inline]
 678     fn from_slice(v: &[T]) -> Self {
 679         unsafe { Arc::copy_from_slice(v) }
 680     }
 681 }
 682
 683 #[stable(feature = "rust1", since = "1.0.0")]
 684 impl<T: ?Sized> Clone for Arc<T> {
 685     /// Makes a clone of the `Arc` pointer.
 686     ///
 687     /// This creates another pointer to the same inner value, increasing the
 688     /// strong reference count.
 689     ///
 690     /// # Examples
 691     ///
 692     /// ```
 693     /// use std::sync::Arc;
 694     ///
 695     /// let five = Arc::new(5);
 696     ///
 697     /// Arc::clone(&five);
 698     /// ```
 699     #[inline]
 700     fn clone(&self) -> Arc<T> {
 701         // Using a relaxed ordering is alright here, as knowledge of the
 702         // original reference prevents other threads from erroneously deleting
 703         // the object.
 704         //
 705         // As explained in the [Boost documentation][1], Increasing the
 706         // reference counter can always be done with memory_order_relaxed: New
 707         // references to an object can only be formed from an existing
 708         // reference, and passing an existing reference from one thread to
 709         // another must already provide any required synchronization.
 710         //
 711         // [1]: (www.boost.org/doc/libs/1_55_0/doc/html/atomic/usage_examples.html)
 712         let old_size = self.inner().strong.fetch_add(1, Relaxed);
 713
 714         // However we need to guard against massive refcounts in case someone
 715         // is `mem::forget`ing Arcs. If we don't do this the count can overflow
 716         // and users will use-after free. We racily saturate to `isize::MAX` on
 717         // the assumption that there aren't ~2 billion threads incrementing
 718         // the reference count at once. This branch will never be taken in
 719         // any realistic program.
 720         //
 721         // We abort because such a program is incredibly degenerate, and we
 722         // don't care to support it.
 723         if old_size > MAX_REFCOUNT {
 724             unsafe {
 725                 abort();
 726             }
 727         }
 728
 729         Arc { ptr: self.ptr, phantom: PhantomData }
 730     }
 731 }
 732
 733 #[stable(feature = "rust1", since = "1.0.0")]
 734 impl<T: ?Sized> Deref for Arc<T> {
 735     type Target = T;
 736
 737     #[inline]
 738     fn deref(&self) -> &T {
 739         &self.inner().data
 740     }
 741 }
 742
 743 impl<T: Clone> Arc<T> {
 744     /// Makes a mutable reference into the given `Arc`.
 745     ///
 746     /// If there are other `Arc` or [`Weak`][weak] pointers to the same value,
 747     /// then `make_mut` will invoke [`clone`][clone] on the inner value to
 748     /// ensure unique ownership. This is also referred to as clone-on-write.
 749     ///
 750     /// See also [`get_mut`][get_mut], which will fail rather than cloning.
 751     ///
 752     /// [weak]: struct.Weak.html
 753     /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
 754     /// [get_mut]: struct.Arc.html#method.get_mut
 755     ///
 756     /// # Examples
 757     ///
 758     /// ```
 759     /// use std::sync::Arc;
 760     ///
 761     /// let mut data = Arc::new(5);
 762     ///
 763     /// *Arc::make_mut(&mut data) += 1;         // Won't clone anything
 764     /// let mut other_data = Arc::clone(&data); // Won't clone inner data
 765     /// *Arc::make_mut(&mut data) += 1;         // Clones inner data
 766     /// *Arc::make_mut(&mut data) += 1;         // Won't clone anything
 767     /// *Arc::make_mut(&mut other_data) *= 2;   // Won't clone anything
 768     ///
 769     /// // Now `data` and `other_data` point to different values.
 770     /// assert_eq!(*data, 8);
 771     /// assert_eq!(*other_data, 12);
 772     /// ```
 773     #[inline]
 774     #[stable(feature = "arc_unique", since = "1.4.0")]
 775     pub fn make_mut(this: &mut Self) -> &mut T {
 776         // Note that we hold both a strong reference and a weak reference.
 777         // Thus, releasing our strong reference only will not, by itself, cause
 778         // the memory to be deallocated.
 779         //
 780         // Use Acquire to ensure that we see any writes to `weak` that happen
 781         // before release writes (i.e., decrements) to `strong`. Since we hold a
 782         // weak count, there's no chance the ArcInner itself could be
 783         // deallocated.
 784         if this.inner().strong.compare_exchange(1, 0, Acquire, Relaxed).is_err() {
 785             // Another strong pointer exists; clone
 786             *this = Arc::new((**this).clone());
 787         } else if this.inner().weak.load(Relaxed) != 1 {
 788             // Relaxed suffices in the above because this is fundamentally an
 789             // optimization: we are always racing with weak pointers being
 790             // dropped. Worst case, we end up allocated a new Arc unnecessarily.
 791
 792             // We removed the last strong ref, but there are additional weak
 793             // refs remaining. We'll move the contents to a new Arc, and
 794             // invalidate the other weak refs.
 795
 796             // Note that it is not possible for the read of `weak` to yield
 797             // usize::MAX (i.e., locked), since the weak count can only be
 798             // locked by a thread with a strong reference.
 799
 800             // Materialize our own implicit weak pointer, so that it can clean
 801             // up the ArcInner as needed.
 802             let weak = Weak { ptr: this.ptr };
 803
 804             // mark the data itself as already deallocated
 805             unsafe {
 806                 // there is no data race in the implicit write caused by `read`
 807                 // here (due to zeroing) because data is no longer accessed by
 808                 // other threads (due to there being no more strong refs at this
 809                 // point).
 810                 let mut swap = Arc::new(ptr::read(&weak.ptr.as_ref().data));
 811                 mem::swap(this, &mut swap);
 812                 mem::forget(swap);
 813             }
 814         } else {
 815             // We were the sole reference of either kind; bump back up the
 816             // strong ref count.
 817             this.inner().strong.store(1, Release);
 818         }
 819
 820         // As with `get_mut()`, the unsafety is ok because our reference was
 821         // either unique to begin with, or became one upon cloning the contents.
 822         unsafe {
 823             &mut this.ptr.as_mut().data
 824         }
 825     }
 826 }
 827
 828 impl<T: ?Sized> Arc<T> {
 829     /// Returns a mutable reference to the inner value, if there are
 830     /// no other `Arc` or [`Weak`][weak] pointers to the same value.
 831     ///
 832     /// Returns [`None`][option] otherwise, because it is not safe to
 833     /// mutate a shared value.
 834     ///
 835     /// See also [`make_mut`][make_mut], which will [`clone`][clone]
 836     /// the inner value when it's shared.
 837     ///
 838     /// [weak]: struct.Weak.html
 839     /// [option]: ../../std/option/enum.Option.html
 840     /// [make_mut]: struct.Arc.html#method.make_mut
 841     /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
 842     ///
 843     /// # Examples
 844     ///
 845     /// ```
 846     /// use std::sync::Arc;
 847     ///
 848     /// let mut x = Arc::new(3);
 849     /// *Arc::get_mut(&mut x).unwrap() = 4;
 850     /// assert_eq!(*x, 4);
 851     ///
 852     /// let _y = Arc::clone(&x);
 853     /// assert!(Arc::get_mut(&mut x).is_none());
 854     /// ```
 855     #[inline]
 856     #[stable(feature = "arc_unique", since = "1.4.0")]
 857     pub fn get_mut(this: &mut Self) -> Option<&mut T> {
 858         if this.is_unique() {
 859             // This unsafety is ok because we're guaranteed that the pointer
 860             // returned is the *only* pointer that will ever be returned to T. Our
 861             // reference count is guaranteed to be 1 at this point, and we required
 862             // the Arc itself to be `mut`, so we're returning the only possible
 863             // reference to the inner data.
 864             unsafe {
 865                 Some(&mut this.ptr.as_mut().data)
 866             }
 867         } else {
 868             None
 869         }
 870     }
 871
 872     /// Determine whether this is the unique reference (including weak refs) to
 873     /// the underlying data.
 874     ///
 875     /// Note that this requires locking the weak ref count.
 876     fn is_unique(&mut self) -> bool {
 877         // lock the weak pointer count if we appear to be the sole weak pointer
 878         // holder.
 879         //
 880         // The acquire label here ensures a happens-before relationship with any
 881         // writes to `strong` prior to decrements of the `weak` count (via drop,
 882         // which uses Release).
 883         if self.inner().weak.compare_exchange(1, usize::MAX, Acquire, Relaxed).is_ok() {
 884             // Due to the previous acquire read, this will observe any writes to
 885             // `strong` that were due to upgrading weak pointers; only strong
 886             // clones remain, which require that the strong count is > 1 anyway.
 887             let unique = self.inner().strong.load(Relaxed) == 1;
 888
 889             // The release write here synchronizes with a read in `downgrade`,
 890             // effectively preventing the above read of `strong` from happening
 891             // after the write.
 892             self.inner().weak.store(1, Release); // release the lock
 893             unique
 894         } else {
 895             false
 896         }
 897     }
 898 }
 899
 900 #[stable(feature = "rust1", since = "1.0.0")]
 901 unsafe impl<#[may_dangle] T: ?Sized> Drop for Arc<T> {
 902     /// Drops the `Arc`.
 903     ///
 904     /// This will decrement the strong reference count. If the strong reference
 905     /// count reaches zero then the only other references (if any) are
 906     /// [`Weak`][weak], so we `drop` the inner value.
 907     ///
 908     /// [weak]: struct.Weak.html
 909     ///
 910     /// # Examples
 911     ///
 912     /// ```
 913     /// use std::sync::Arc;
 914     ///
 915     /// struct Foo;
 916     ///
 917     /// impl Drop for Foo {
 918     ///     fn drop(&mut self) {
 919     ///         println!("dropped!");
 920     ///     }
 921     /// }
 922     ///
 923     /// let foo  = Arc::new(Foo);
 924     /// let foo2 = Arc::clone(&foo);
 925     ///
 926     /// drop(foo);    // Doesn't print anything
 927     /// drop(foo2);   // Prints "dropped!"
 928     /// ```
 929     #[inline]
 930     fn drop(&mut self) {
 931         // Because `fetch_sub` is already atomic, we do not need to synchronize
 932         // with other threads unless we are going to delete the object. This
 933         // same logic applies to the below `fetch_sub` to the `weak` count.
 934         if self.inner().strong.fetch_sub(1, Release) != 1 {
 935             return;
 936         }
 937
 938         // This fence is needed to prevent reordering of use of the data and
 939         // deletion of the data.  Because it is marked `Release`, the decreasing
 940         // of the reference count synchronizes with this `Acquire` fence. This
 941         // means that use of the data happens before decreasing the reference
 942         // count, which happens before this fence, which happens before the
 943         // deletion of the data.
 944         //
 945         // As explained in the [Boost documentation][1],
 946         //
 947         // > It is important to enforce any possible access to the object in one
 948         // > thread (through an existing reference) to *happen before* deleting
 949         // > the object in a different thread. This is achieved by a "release"
 950         // > operation after dropping a reference (any access to the object
 951         // > through this reference must obviously happened before), and an
 952         // > "acquire" operation before deleting the object.
 953         //
 954         // In particular, while the contents of an Arc are usually immutable, it's
 955         // possible to have interior writes to something like a Mutex<T>. Since a
 956         // Mutex is not acquired when it is deleted, we can't rely on its
 957         // synchronization logic to make writes in thread A visible to a destructor
 958         // running in thread B.
 959         //
 960         // Also note that the Acquire fence here could probably be replaced with an
 961         // Acquire load, which could improve performance in highly-contended
 962         // situations. See [2].
 963         //
 964         // [1]: (www.boost.org/doc/libs/1_55_0/doc/html/atomic/usage_examples.html)
 965         // [2]: (https://github.com/rust-lang/rust/pull/41714)
 966         atomic::fence(Acquire);
 967
 968         unsafe {
 969             self.drop_slow();
 970         }
 971     }
 972 }
 973
 974 impl<T> Weak<T> {
 975     /// Constructs a new `Weak<T>`, allocating memory for `T` without initializing
 976     /// it. Calling [`upgrade`] on the return value always gives [`None`].
 977     ///
 978     /// [`upgrade`]: struct.Weak.html#method.upgrade
 979     /// [`None`]: ../../std/option/enum.Option.html#variant.None
 980     ///
 981     /// # Examples
 982     ///
 983     /// ```
 984     /// use std::sync::Weak;
 985     ///
 986     /// let empty: Weak<i64> = Weak::new();
 987     /// assert!(empty.upgrade().is_none());
 988     /// ```
 989     #[stable(feature = "downgraded_weak", since = "1.10.0")]
 990     pub fn new() -> Weak<T> {
 991         unsafe {
 992             Weak {
 993                 ptr: Box::into_raw_non_null(box ArcInner {
 994                     strong: atomic::AtomicUsize::new(0),
 995                     weak: atomic::AtomicUsize::new(1),
 996                     data: uninitialized(),
 997                 }),
 998             }
 999         }
1000     }
1001 }
1002
1003 impl<T: ?Sized> Weak<T> {
1004     /// Attempts to upgrade the `Weak` pointer to an [`Arc`], extending
1005     /// the lifetime of the value if successful.
1006     ///
1007     /// Returns [`None`] if the value has since been dropped.
1008     ///
1009     /// [`Arc`]: struct.Arc.html
1010     /// [`None`]: ../../std/option/enum.Option.html#variant.None
1011     ///
1012     /// # Examples
1013     ///
1014     /// ```
1015     /// use std::sync::Arc;
1016     ///
1017     /// let five = Arc::new(5);
1018     ///
1019     /// let weak_five = Arc::downgrade(&five);
1020     ///
1021     /// let strong_five: Option<Arc<_>> = weak_five.upgrade();
1022     /// assert!(strong_five.is_some());
1023     ///
1024     /// // Destroy all strong pointers.
1025     /// drop(strong_five);
1026     /// drop(five);
1027     ///
1028     /// assert!(weak_five.upgrade().is_none());
1029     /// ```
1030     #[stable(feature = "arc_weak", since = "1.4.0")]
1031     pub fn upgrade(&self) -> Option<Arc<T>> {
1032         // We use a CAS loop to increment the strong count instead of a
1033         // fetch_add because once the count hits 0 it must never be above 0.
1034         let inner = self.inner();
1035
1036         // Relaxed load because any write of 0 that we can observe
1037         // leaves the field in a permanently zero state (so a
1038         // "stale" read of 0 is fine), and any other value is
1039         // confirmed via the CAS below.
1040         let mut n = inner.strong.load(Relaxed);
1041
1042         loop {
1043             if n == 0 {
1044                 return None;
1045             }
1046
1047             // See comments in `Arc::clone` for why we do this (for `mem::forget`).
1048             if n > MAX_REFCOUNT {
1049                 unsafe {
1050                     abort();
1051                 }
1052             }
1053
1054             // Relaxed is valid for the same reason it is on Arc's Clone impl
1055             match inner.strong.compare_exchange_weak(n, n + 1, Relaxed, Relaxed) {
1056                 Ok(_) => return Some(Arc { ptr: self.ptr, phantom: PhantomData }),
1057                 Err(old) => n = old,
1058             }
1059         }
1060     }
1061
1062     #[inline]
1063     fn inner(&self) -> &ArcInner<T> {
1064         // See comments above for why this is "safe"
1065         unsafe { self.ptr.as_ref() }
1066     }
1067 }
1068
1069 #[stable(feature = "arc_weak", since = "1.4.0")]
1070 impl<T: ?Sized> Clone for Weak<T> {
1071     /// Makes a clone of the `Weak` pointer that points to the same value.
1072     ///
1073     /// # Examples
1074     ///
1075     /// ```
1076     /// use std::sync::{Arc, Weak};
1077     ///
1078     /// let weak_five = Arc::downgrade(&Arc::new(5));
1079     ///
1080     /// Weak::clone(&weak_five);
1081     /// ```
1082     #[inline]
1083     fn clone(&self) -> Weak<T> {
1084         // See comments in Arc::clone() for why this is relaxed.  This can use a
1085         // fetch_add (ignoring the lock) because the weak count is only locked
1086         // where are *no other* weak pointers in existence. (So we can't be
1087         // running this code in that case).
1088         let old_size = self.inner().weak.fetch_add(1, Relaxed);
1089
1090         // See comments in Arc::clone() for why we do this (for mem::forget).
1091         if old_size > MAX_REFCOUNT {
1092             unsafe {
1093                 abort();
1094             }
1095         }
1096
1097         return Weak { ptr: self.ptr };
1098     }
1099 }
1100
1101 #[stable(feature = "downgraded_weak", since = "1.10.0")]
1102 impl<T> Default for Weak<T> {
1103     /// Constructs a new `Weak<T>`, allocating memory for `T` without initializing
1104     /// it. Calling [`upgrade`] on the return value always gives [`None`].
1105     ///
1106     /// [`upgrade`]: struct.Weak.html#method.upgrade
1107     /// [`None`]: ../../std/option/enum.Option.html#variant.None
1108     ///
1109     /// # Examples
1110     ///
1111     /// ```
1112     /// use std::sync::Weak;
1113     ///
1114     /// let empty: Weak<i64> = Default::default();
1115     /// assert!(empty.upgrade().is_none());
1116     /// ```
1117     fn default() -> Weak<T> {
1118         Weak::new()
1119     }
1120 }
1121
1122 #[stable(feature = "arc_weak", since = "1.4.0")]
1123 impl<T: ?Sized> Drop for Weak<T> {
1124     /// Drops the `Weak` pointer.
1125     ///
1126     /// # Examples
1127     ///
1128     /// ```
1129     /// use std::sync::{Arc, Weak};
1130     ///
1131     /// struct Foo;
1132     ///
1133     /// impl Drop for Foo {
1134     ///     fn drop(&mut self) {
1135     ///         println!("dropped!");
1136     ///     }
1137     /// }
1138     ///
1139     /// let foo = Arc::new(Foo);
1140     /// let weak_foo = Arc::downgrade(&foo);
1141     /// let other_weak_foo = Weak::clone(&weak_foo);
1142     ///
1143     /// drop(weak_foo);   // Doesn't print anything
1144     /// drop(foo);        // Prints "dropped!"
1145     ///
1146     /// assert!(other_weak_foo.upgrade().is_none());
1147     /// ```
1148     fn drop(&mut self) {
1149         // If we find out that we were the last weak pointer, then its time to
1150         // deallocate the data entirely. See the discussion in Arc::drop() about
1151         // the memory orderings
1152         //
1153         // It's not necessary to check for the locked state here, because the
1154         // weak count can only be locked if there was precisely one weak ref,
1155         // meaning that drop could only subsequently run ON that remaining weak
1156         // ref, which can only happen after the lock is released.
1157         if self.inner().weak.fetch_sub(1, Release) == 1 {
1158             atomic::fence(Acquire);
1159             unsafe {
1160                 Global.dealloc(self.ptr.as_opaque(), Layout::for_value(self.ptr.as_ref()))
1161             }
1162         }
1163     }
1164 }
1165
1166 #[stable(feature = "rust1", since = "1.0.0")]
1167 impl<T: ?Sized + PartialEq> PartialEq for Arc<T> {
1168     /// Equality for two `Arc`s.
1169     ///
1170     /// Two `Arc`s are equal if their inner values are equal.
1171     ///
1172     /// # Examples
1173     ///
1174     /// ```
1175     /// use std::sync::Arc;
1176     ///
1177     /// let five = Arc::new(5);
1178     ///
1179     /// assert!(five == Arc::new(5));
1180     /// ```
1181     fn eq(&self, other: &Arc<T>) -> bool {
1182         *(*self) == *(*other)
1183     }
1184
1185     /// Inequality for two `Arc`s.
1186     ///
1187     /// Two `Arc`s are unequal if their inner values are unequal.
1188     ///
1189     /// # Examples
1190     ///
1191     /// ```
1192     /// use std::sync::Arc;
1193     ///
1194     /// let five = Arc::new(5);
1195     ///
1196     /// assert!(five != Arc::new(6));
1197     /// ```
1198     fn ne(&self, other: &Arc<T>) -> bool {
1199         *(*self) != *(*other)
1200     }
1201 }
1202 #[stable(feature = "rust1", since = "1.0.0")]
1203 impl<T: ?Sized + PartialOrd> PartialOrd for Arc<T> {
1204     /// Partial comparison for two `Arc`s.
1205     ///
1206     /// The two are compared by calling `partial_cmp()` on their inner values.
1207     ///
1208     /// # Examples
1209     ///
1210     /// ```
1211     /// use std::sync::Arc;
1212     /// use std::cmp::Ordering;
1213     ///
1214     /// let five = Arc::new(5);
1215     ///
1216     /// assert_eq!(Some(Ordering::Less), five.partial_cmp(&Arc::new(6)));
1217     /// ```
1218     fn partial_cmp(&self, other: &Arc<T>) -> Option<Ordering> {
1219         (**self).partial_cmp(&**other)
1220     }
1221
1222     /// Less-than comparison for two `Arc`s.
1223     ///
1224     /// The two are compared by calling `<` on their inner values.
1225     ///
1226     /// # Examples
1227     ///
1228     /// ```
1229     /// use std::sync::Arc;
1230     ///
1231     /// let five = Arc::new(5);
1232     ///
1233     /// assert!(five < Arc::new(6));
1234     /// ```
1235     fn lt(&self, other: &Arc<T>) -> bool {
1236         *(*self) < *(*other)
1237     }
1238
1239     /// 'Less than or equal to' comparison for two `Arc`s.
1240     ///
1241     /// The two are compared by calling `<=` on their inner values.
1242     ///
1243     /// # Examples
1244     ///
1245     /// ```
1246     /// use std::sync::Arc;
1247     ///
1248     /// let five = Arc::new(5);
1249     ///
1250     /// assert!(five <= Arc::new(5));
1251     /// ```
1252     fn le(&self, other: &Arc<T>) -> bool {
1253         *(*self) <= *(*other)
1254     }
1255
1256     /// Greater-than comparison for two `Arc`s.
1257     ///
1258     /// The two are compared by calling `>` on their inner values.
1259     ///
1260     /// # Examples
1261     ///
1262     /// ```
1263     /// use std::sync::Arc;
1264     ///
1265     /// let five = Arc::new(5);
1266     ///
1267     /// assert!(five > Arc::new(4));
1268     /// ```
1269     fn gt(&self, other: &Arc<T>) -> bool {
1270         *(*self) > *(*other)
1271     }
1272
1273     /// 'Greater than or equal to' comparison for two `Arc`s.
1274     ///
1275     /// The two are compared by calling `>=` on their inner values.
1276     ///
1277     /// # Examples
1278     ///
1279     /// ```
1280     /// use std::sync::Arc;
1281     ///
1282     /// let five = Arc::new(5);
1283     ///
1284     /// assert!(five >= Arc::new(5));
1285     /// ```
1286     fn ge(&self, other: &Arc<T>) -> bool {
1287         *(*self) >= *(*other)
1288     }
1289 }
1290 #[stable(feature = "rust1", since = "1.0.0")]
1291 impl<T: ?Sized + Ord> Ord for Arc<T> {
1292     /// Comparison for two `Arc`s.
1293     ///
1294     /// The two are compared by calling `cmp()` on their inner values.
1295     ///
1296     /// # Examples
1297     ///
1298     /// ```
1299     /// use std::sync::Arc;
1300     /// use std::cmp::Ordering;
1301     ///
1302     /// let five = Arc::new(5);
1303     ///
1304     /// assert_eq!(Ordering::Less, five.cmp(&Arc::new(6)));
1305     /// ```
1306     fn cmp(&self, other: &Arc<T>) -> Ordering {
1307         (**self).cmp(&**other)
1308     }
1309 }
1310 #[stable(feature = "rust1", since = "1.0.0")]
1311 impl<T: ?Sized + Eq> Eq for Arc<T> {}
1312
1313 #[stable(feature = "rust1", since = "1.0.0")]
1314 impl<T: ?Sized + fmt::Display> fmt::Display for Arc<T> {
1315     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1316         fmt::Display::fmt(&**self, f)
1317     }
1318 }
1319
1320 #[stable(feature = "rust1", since = "1.0.0")]
1321 impl<T: ?Sized + fmt::Debug> fmt::Debug for Arc<T> {
1322     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1323         fmt::Debug::fmt(&**self, f)
1324     }
1325 }
1326
1327 #[stable(feature = "rust1", since = "1.0.0")]
1328 impl<T: ?Sized> fmt::Pointer for Arc<T> {
1329     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1330         fmt::Pointer::fmt(&(&**self as *const T), f)
1331     }
1332 }
1333
1334 #[stable(feature = "rust1", since = "1.0.0")]
1335 impl<T: Default> Default for Arc<T> {
1336     /// Creates a new `Arc<T>`, with the `Default` value for `T`.
1337     ///
1338     /// # Examples
1339     ///
1340     /// ```
1341     /// use std::sync::Arc;
1342     ///
1343     /// let x: Arc<i32> = Default::default();
1344     /// assert_eq!(*x, 0);
1345     /// ```
1346     fn default() -> Arc<T> {
1347         Arc::new(Default::default())
1348     }
1349 }
1350
1351 #[stable(feature = "rust1", since = "1.0.0")]
1352 impl<T: ?Sized + Hash> Hash for Arc<T> {
1353     fn hash<H: Hasher>(&self, state: &mut H) {
1354         (**self).hash(state)
1355     }
1356 }
1357
1358 #[stable(feature = "from_for_ptrs", since = "1.6.0")]
1359 impl<T> From<T> for Arc<T> {
1360     fn from(t: T) -> Self {
1361         Arc::new(t)
1362     }
1363 }
1364
1365 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1366 impl<'a, T: Clone> From<&'a [T]> for Arc<[T]> {
1367     #[inline]
1368     fn from(v: &[T]) -> Arc<[T]> {
1369         <Self as ArcFromSlice<T>>::from_slice(v)
1370     }
1371 }
1372
1373 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1374 impl<'a> From<&'a str> for Arc<str> {
1375     #[inline]
1376     fn from(v: &str) -> Arc<str> {
1377         let arc = Arc::<[u8]>::from(v.as_bytes());
1378         unsafe { Arc::from_raw(Arc::into_raw(arc) as *const str) }
1379     }
1380 }
1381
1382 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1383 impl From<String> for Arc<str> {
1384     #[inline]
1385     fn from(v: String) -> Arc<str> {
1386         Arc::from(&v[..])
1387     }
1388 }
1389
1390 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1391 impl<T: ?Sized> From<Box<T>> for Arc<T> {
1392     #[inline]
1393     fn from(v: Box<T>) -> Arc<T> {
1394         Arc::from_box(v)
1395     }
1396 }
1397
1398 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1399 impl<T> From<Vec<T>> for Arc<[T]> {
1400     #[inline]
1401     fn from(mut v: Vec<T>) -> Arc<[T]> {
1402         unsafe {
1403             let arc = Arc::copy_from_slice(&v);
1404
1405             // Allow the Vec to free its memory, but not destroy its contents
1406             v.set_len(0);
1407
1408             arc
1409         }
1410     }
1411 }
1412
1413 #[cfg(test)]
1414 mod tests {
1415     use std::boxed::Box;
1416     use std::clone::Clone;
1417     use std::sync::mpsc::channel;
1418     use std::mem::drop;
1419     use std::ops::Drop;
1420     use std::option::Option;
1421     use std::option::Option::{None, Some};
1422     use std::sync::atomic;
1423     use std::sync::atomic::Ordering::{Acquire, SeqCst};
1424     use std::thread;
1425     use std::sync::Mutex;
1426     use std::convert::From;
1427
1428     use super::{Arc, Weak};
1429     use vec::Vec;
1430
1431     struct Canary(*mut atomic::AtomicUsize);
1432
1433     impl Drop for Canary {
1434         fn drop(&mut self) {
1435             unsafe {
1436                 match *self {
1437                     Canary(c) => {
1438                         (*c).fetch_add(1, SeqCst);
1439                     }
1440                 }
1441             }
1442         }
1443     }
1444
1445     #[test]
1446     #[cfg_attr(target_os = "emscripten", ignore)]
1447     fn manually_share_arc() {
1448         let v = vec![1, 2, 3, 4, 5, 6, 7, 8, 9, 10];
1449         let arc_v = Arc::new(v);
1450
1451         let (tx, rx) = channel();
1452
1453         let _t = thread::spawn(move || {
1454             let arc_v: Arc<Vec<i32>> = rx.recv().unwrap();
1455             assert_eq!((*arc_v)[3], 4);
1456         });
1457
1458         tx.send(arc_v.clone()).unwrap();
1459
1460         assert_eq!((*arc_v)[2], 3);
1461         assert_eq!((*arc_v)[4], 5);
1462     }
1463
1464     #[test]
1465     fn test_arc_get_mut() {
1466         let mut x = Arc::new(3);
1467         *Arc::get_mut(&mut x).unwrap() = 4;
1468         assert_eq!(*x, 4);
1469         let y = x.clone();
1470         assert!(Arc::get_mut(&mut x).is_none());
1471         drop(y);
1472         assert!(Arc::get_mut(&mut x).is_some());
1473         let _w = Arc::downgrade(&x);
1474         assert!(Arc::get_mut(&mut x).is_none());
1475     }
1476
1477     #[test]
1478     fn try_unwrap() {
1479         let x = Arc::new(3);
1480         assert_eq!(Arc::try_unwrap(x), Ok(3));
1481         let x = Arc::new(4);
1482         let _y = x.clone();
1483         assert_eq!(Arc::try_unwrap(x), Err(Arc::new(4)));
1484         let x = Arc::new(5);
1485         let _w = Arc::downgrade(&x);
1486         assert_eq!(Arc::try_unwrap(x), Ok(5));
1487     }
1488
1489     #[test]
1490     fn into_from_raw() {
1491         let x = Arc::new(box "hello");
1492         let y = x.clone();
1493
1494         let x_ptr = Arc::into_raw(x);
1495         drop(y);
1496         unsafe {
1497             assert_eq!(**x_ptr, "hello");
1498
1499             let x = Arc::from_raw(x_ptr);
1500             assert_eq!(**x, "hello");
1501
1502             assert_eq!(Arc::try_unwrap(x).map(|x| *x), Ok("hello"));
1503         }
1504     }
1505
1506     #[test]
1507     fn test_into_from_raw_unsized() {
1508         use std::fmt::Display;
1509         use std::string::ToString;
1510
1511         let arc: Arc<str> = Arc::from("foo");
1512
1513         let ptr = Arc::into_raw(arc.clone());
1514         let arc2 = unsafe { Arc::from_raw(ptr) };
1515
1516         assert_eq!(unsafe { &*ptr }, "foo");
1517         assert_eq!(arc, arc2);
1518
1519         let arc: Arc<Display> = Arc::new(123);
1520
1521         let ptr = Arc::into_raw(arc.clone());
1522         let arc2 = unsafe { Arc::from_raw(ptr) };
1523
1524         assert_eq!(unsafe { &*ptr }.to_string(), "123");
1525         assert_eq!(arc2.to_string(), "123");
1526     }
1527
1528     #[test]
1529     fn test_cowarc_clone_make_mut() {
1530         let mut cow0 = Arc::new(75);
1531         let mut cow1 = cow0.clone();
1532         let mut cow2 = cow1.clone();
1533
1534         assert!(75 == *Arc::make_mut(&mut cow0));
1535         assert!(75 == *Arc::make_mut(&mut cow1));
1536         assert!(75 == *Arc::make_mut(&mut cow2));
1537
1538         *Arc::make_mut(&mut cow0) += 1;
1539         *Arc::make_mut(&mut cow1) += 2;
1540         *Arc::make_mut(&mut cow2) += 3;
1541
1542         assert!(76 == *cow0);
1543         assert!(77 == *cow1);
1544         assert!(78 == *cow2);
1545
1546         // none should point to the same backing memory
1547         assert!(*cow0 != *cow1);
1548         assert!(*cow0 != *cow2);
1549         assert!(*cow1 != *cow2);
1550     }
1551
1552     #[test]
1553     fn test_cowarc_clone_unique2() {
1554         let mut cow0 = Arc::new(75);
1555         let cow1 = cow0.clone();
1556         let cow2 = cow1.clone();
1557
1558         assert!(75 == *cow0);
1559         assert!(75 == *cow1);
1560         assert!(75 == *cow2);
1561
1562         *Arc::make_mut(&mut cow0) += 1;
1563         assert!(76 == *cow0);
1564         assert!(75 == *cow1);
1565         assert!(75 == *cow2);
1566
1567         // cow1 and cow2 should share the same contents
1568         // cow0 should have a unique reference
1569         assert!(*cow0 != *cow1);
1570         assert!(*cow0 != *cow2);
1571         assert!(*cow1 == *cow2);
1572     }
1573
1574     #[test]
1575     fn test_cowarc_clone_weak() {
1576         let mut cow0 = Arc::new(75);
1577         let cow1_weak = Arc::downgrade(&cow0);
1578
1579         assert!(75 == *cow0);
1580         assert!(75 == *cow1_weak.upgrade().unwrap());
1581
1582         *Arc::make_mut(&mut cow0) += 1;
1583
1584         assert!(76 == *cow0);
1585         assert!(cow1_weak.upgrade().is_none());
1586     }
1587
1588     #[test]
1589     fn test_live() {
1590         let x = Arc::new(5);
1591         let y = Arc::downgrade(&x);
1592         assert!(y.upgrade().is_some());
1593     }
1594
1595     #[test]
1596     fn test_dead() {
1597         let x = Arc::new(5);
1598         let y = Arc::downgrade(&x);
1599         drop(x);
1600         assert!(y.upgrade().is_none());
1601     }
1602
1603     #[test]
1604     fn weak_self_cyclic() {
1605         struct Cycle {
1606             x: Mutex<Option<Weak<Cycle>>>,
1607         }
1608
1609         let a = Arc::new(Cycle { x: Mutex::new(None) });
1610         let b = Arc::downgrade(&a.clone());
1611         *a.x.lock().unwrap() = Some(b);
1612
1613         // hopefully we don't double-free (or leak)...
1614     }
1615
1616     #[test]
1617     fn drop_arc() {
1618         let mut canary = atomic::AtomicUsize::new(0);
1619         let x = Arc::new(Canary(&mut canary as *mut atomic::AtomicUsize));
1620         drop(x);
1621         assert!(canary.load(Acquire) == 1);
1622     }
1623
1624     #[test]
1625     fn drop_arc_weak() {
1626         let mut canary = atomic::AtomicUsize::new(0);
1627         let arc = Arc::new(Canary(&mut canary as *mut atomic::AtomicUsize));
1628         let arc_weak = Arc::downgrade(&arc);
1629         assert!(canary.load(Acquire) == 0);
1630         drop(arc);
1631         assert!(canary.load(Acquire) == 1);
1632         drop(arc_weak);
1633     }
1634
1635     #[test]
1636     fn test_strong_count() {
1637         let a = Arc::new(0);
1638         assert!(Arc::strong_count(&a) == 1);
1639         let w = Arc::downgrade(&a);
1640         assert!(Arc::strong_count(&a) == 1);
1641         let b = w.upgrade().expect("");
1642         assert!(Arc::strong_count(&b) == 2);
1643         assert!(Arc::strong_count(&a) == 2);
1644         drop(w);
1645         drop(a);
1646         assert!(Arc::strong_count(&b) == 1);
1647         let c = b.clone();
1648         assert!(Arc::strong_count(&b) == 2);
1649         assert!(Arc::strong_count(&c) == 2);
1650     }
1651
1652     #[test]
1653     fn test_weak_count() {
1654         let a = Arc::new(0);
1655         assert!(Arc::strong_count(&a) == 1);
1656         assert!(Arc::weak_count(&a) == 0);
1657         let w = Arc::downgrade(&a);
1658         assert!(Arc::strong_count(&a) == 1);
1659         assert!(Arc::weak_count(&a) == 1);
1660         let x = w.clone();
1661         assert!(Arc::weak_count(&a) == 2);
1662         drop(w);
1663         drop(x);
1664         assert!(Arc::strong_count(&a) == 1);
1665         assert!(Arc::weak_count(&a) == 0);
1666         let c = a.clone();
1667         assert!(Arc::strong_count(&a) == 2);
1668         assert!(Arc::weak_count(&a) == 0);
1669         let d = Arc::downgrade(&c);
1670         assert!(Arc::weak_count(&c) == 1);
1671         assert!(Arc::strong_count(&c) == 2);
1672
1673         drop(a);
1674         drop(c);
1675         drop(d);
1676     }
1677
1678     #[test]
1679     fn show_arc() {
1680         let a = Arc::new(5);
1681         assert_eq!(format!("{:?}", a), "5");
1682     }
1683
1684     // Make sure deriving works with Arc<T>
1685     #[derive(Eq, Ord, PartialEq, PartialOrd, Clone, Debug, Default)]
1686     struct Foo {
1687         inner: Arc<i32>,
1688     }
1689
1690     #[test]
1691     fn test_unsized() {
1692         let x: Arc<[i32]> = Arc::new([1, 2, 3]);
1693         assert_eq!(format!("{:?}", x), "[1, 2, 3]");
1694         let y = Arc::downgrade(&x.clone());
1695         drop(x);
1696         assert!(y.upgrade().is_none());
1697     }
1698
1699     #[test]
1700     fn test_from_owned() {
1701         let foo = 123;
1702         let foo_arc = Arc::from(foo);
1703         assert!(123 == *foo_arc);
1704     }
1705
1706     #[test]
1707     fn test_new_weak() {
1708         let foo: Weak<usize> = Weak::new();
1709         assert!(foo.upgrade().is_none());
1710     }
1711
1712     #[test]
1713     fn test_ptr_eq() {
1714         let five = Arc::new(5);
1715         let same_five = five.clone();
1716         let other_five = Arc::new(5);
1717
1718         assert!(Arc::ptr_eq(&five, &same_five));
1719         assert!(!Arc::ptr_eq(&five, &other_five));
1720     }
1721
1722     #[test]
1723     #[cfg_attr(target_os = "emscripten", ignore)]
1724     fn test_weak_count_locked() {
1725         let mut a = Arc::new(atomic::AtomicBool::new(false));
1726         let a2 = a.clone();
1727         let t = thread::spawn(move || {
1728             for _i in 0..1000000 {
1729                 Arc::get_mut(&mut a);
1730             }
1731             a.store(true, SeqCst);
1732         });
1733
1734         while !a2.load(SeqCst) {
1735             let n = Arc::weak_count(&a2);
1736             assert!(n < 2, "bad weak count: {}", n);
1737         }
1738         t.join().unwrap();
1739     }
1740
1741     #[test]
1742     fn test_from_str() {
1743         let r: Arc<str> = Arc::from("foo");
1744
1745         assert_eq!(&r[..], "foo");
1746     }
1747
1748     #[test]
1749     fn test_copy_from_slice() {
1750         let s: &[u32] = &[1, 2, 3];
1751         let r: Arc<[u32]> = Arc::from(s);
1752
1753         assert_eq!(&r[..], [1, 2, 3]);
1754     }
1755
1756     #[test]
1757     fn test_clone_from_slice() {
1758         #[derive(Clone, Debug, Eq, PartialEq)]
1759         struct X(u32);
1760
1761         let s: &[X] = &[X(1), X(2), X(3)];
1762         let r: Arc<[X]> = Arc::from(s);
1763
1764         assert_eq!(&r[..], s);
1765     }
1766
1767     #[test]
1768     #[should_panic]
1769     fn test_clone_from_slice_panic() {
1770         use std::string::{String, ToString};
1771
1772         struct Fail(u32, String);
1773
1774         impl Clone for Fail {
1775             fn clone(&self) -> Fail {
1776                 if self.0 == 2 {
1777                     panic!();
1778                 }
1779                 Fail(self.0, self.1.clone())
1780             }
1781         }
1782
1783         let s: &[Fail] = &[
1784             Fail(0, "foo".to_string()),
1785             Fail(1, "bar".to_string()),
1786             Fail(2, "baz".to_string()),
1787         ];
1788
1789         // Should panic, but not cause memory corruption
1790         let _r: Arc<[Fail]> = Arc::from(s);
1791     }
1792
1793     #[test]
1794     fn test_from_box() {
1795         let b: Box<u32> = box 123;
1796         let r: Arc<u32> = Arc::from(b);
1797
1798         assert_eq!(*r, 123);
1799     }
1800
1801     #[test]
1802     fn test_from_box_str() {
1803         use std::string::String;
1804
1805         let s = String::from("foo").into_boxed_str();
1806         let r: Arc<str> = Arc::from(s);
1807
1808         assert_eq!(&r[..], "foo");
1809     }
1810
1811     #[test]
1812     fn test_from_box_slice() {
1813         let s = vec![1, 2, 3].into_boxed_slice();
1814         let r: Arc<[u32]> = Arc::from(s);
1815
1816         assert_eq!(&r[..], [1, 2, 3]);
1817     }
1818
1819     #[test]
1820     fn test_from_box_trait() {
1821         use std::fmt::Display;
1822         use std::string::ToString;
1823
1824         let b: Box<Display> = box 123;
1825         let r: Arc<Display> = Arc::from(b);
1826
1827         assert_eq!(r.to_string(), "123");
1828     }
1829
1830     #[test]
1831     fn test_from_box_trait_zero_sized() {
1832         use std::fmt::Debug;
1833
1834         let b: Box<Debug> = box ();
1835         let r: Arc<Debug> = Arc::from(b);
1836
1837         assert_eq!(format!("{:?}", r), "()");
1838     }
1839
1840     #[test]
1841     fn test_from_vec() {
1842         let v = vec![1, 2, 3];
1843         let r: Arc<[u32]> = Arc::from(v);
1844
1845         assert_eq!(&r[..], [1, 2, 3]);
1846     }
1847 }
1848
1849 #[stable(feature = "rust1", since = "1.0.0")]
1850 impl<T: ?Sized> borrow::Borrow<T> for Arc<T> {
1851     fn borrow(&self) -> &T {
1852         &**self
1853     }
1854 }
1855
1856 #[stable(since = "1.5.0", feature = "smart_ptr_as_ref")]
1857 impl<T: ?Sized> AsRef<T> for Arc<T> {
1858     fn as_ref(&self) -> &T {
1859         &**self
1860     }
1861 }