]> git.lizzy.rs Git - rust.git/blob - src/liballoc/sync.rs
Separate codepaths for fat and thin LTO in write.rs
[rust.git] / src / liballoc / sync.rs
1 // Copyright 2012-2014 The Rust Project Developers. See the COPYRIGHT
2 // file at the top-level directory of this distribution and at
3 // http://rust-lang.org/COPYRIGHT.
4 //
5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
8 // option. This file may not be copied, modified, or distributed
9 // except according to those terms.
10
11 #![stable(feature = "rust1", since = "1.0.0")]
12
13 //! Thread-safe reference-counting pointers.
14 //!
15 //! See the [`Arc<T>`][arc] documentation for more details.
16 //!
17 //! [arc]: struct.Arc.html
18
19 use core::any::Any;
20 use core::sync::atomic;
21 use core::sync::atomic::Ordering::{Acquire, Relaxed, Release, SeqCst};
22 use core::borrow;
23 use core::fmt;
24 use core::cmp::Ordering;
25 use core::intrinsics::abort;
26 use core::mem::{self, align_of_val, size_of_val};
27 use core::ops::Deref;
28 use core::ops::{CoerceUnsized, DispatchFromDyn};
29 use core::pin::Pin;
30 use core::ptr::{self, NonNull};
31 use core::marker::{Unpin, Unsize, PhantomData};
32 use core::hash::{Hash, Hasher};
33 use core::{isize, usize};
34 use core::convert::From;
35
36 use alloc::{Global, Alloc, Layout, box_free, handle_alloc_error};
37 use boxed::Box;
38 use rc::is_dangling;
39 use string::String;
40 use vec::Vec;
41
42 /// A soft limit on the amount of references that may be made to an `Arc`.
43 ///
44 /// Going above this limit will abort your program (although not
45 /// necessarily) at _exactly_ `MAX_REFCOUNT + 1` references.
46 const MAX_REFCOUNT: usize = (isize::MAX) as usize;
47
48 /// A thread-safe reference-counting pointer. 'Arc' stands for 'Atomically
49 /// Reference Counted'.
50 ///
51 /// The type `Arc<T>` provides shared ownership of a value of type `T`,
52 /// allocated in the heap. Invoking [`clone`][clone] on `Arc` produces
53 /// a new `Arc` instance, which points to the same value on the heap as the
54 /// source `Arc`, while increasing a reference count. When the last `Arc`
55 /// pointer to a given value is destroyed, the pointed-to value is also
56 /// destroyed.
57 ///
58 /// Shared references in Rust disallow mutation by default, and `Arc` is no
59 /// exception: you cannot generally obtain a mutable reference to something
60 /// inside an `Arc`. If you need to mutate through an `Arc`, use
61 /// [`Mutex`][mutex], [`RwLock`][rwlock], or one of the [`Atomic`][atomic]
62 /// types.
63 ///
64 /// ## Thread Safety
65 ///
66 /// Unlike [`Rc<T>`], `Arc<T>` uses atomic operations for its reference
67 /// counting. This means that it is thread-safe. The disadvantage is that
68 /// atomic operations are more expensive than ordinary memory accesses. If you
69 /// are not sharing reference-counted values between threads, consider using
70 /// [`Rc<T>`] for lower overhead. [`Rc<T>`] is a safe default, because the
71 /// compiler will catch any attempt to send an [`Rc<T>`] between threads.
72 /// However, a library might choose `Arc<T>` in order to give library consumers
73 /// more flexibility.
74 ///
75 /// `Arc<T>` will implement [`Send`] and [`Sync`] as long as the `T` implements
76 /// [`Send`] and [`Sync`]. Why can't you put a non-thread-safe type `T` in an
77 /// `Arc<T>` to make it thread-safe? This may be a bit counter-intuitive at
78 /// first: after all, isn't the point of `Arc<T>` thread safety? The key is
79 /// this: `Arc<T>` makes it thread safe to have multiple ownership of the same
80 /// data, but it  doesn't add thread safety to its data. Consider
81 /// `Arc<`[`RefCell<T>`]`>`. [`RefCell<T>`] isn't [`Sync`], and if `Arc<T>` was always
82 /// [`Send`], `Arc<`[`RefCell<T>`]`>` would be as well. But then we'd have a problem:
83 /// [`RefCell<T>`] is not thread safe; it keeps track of the borrowing count using
84 /// non-atomic operations.
85 ///
86 /// In the end, this means that you may need to pair `Arc<T>` with some sort of
87 /// [`std::sync`] type, usually [`Mutex<T>`][mutex].
88 ///
89 /// ## Breaking cycles with `Weak`
90 ///
91 /// The [`downgrade`][downgrade] method can be used to create a non-owning
92 /// [`Weak`][weak] pointer. A [`Weak`][weak] pointer can be [`upgrade`][upgrade]d
93 /// to an `Arc`, but this will return [`None`] if the value has already been
94 /// dropped.
95 ///
96 /// A cycle between `Arc` pointers will never be deallocated. For this reason,
97 /// [`Weak`][weak] is used to break cycles. For example, a tree could have
98 /// strong `Arc` pointers from parent nodes to children, and [`Weak`][weak]
99 /// pointers from children back to their parents.
100 ///
101 /// # Cloning references
102 ///
103 /// Creating a new reference from an existing reference counted pointer is done using the
104 /// `Clone` trait implemented for [`Arc<T>`][arc] and [`Weak<T>`][weak].
105 ///
106 /// ```
107 /// use std::sync::Arc;
108 /// let foo = Arc::new(vec![1.0, 2.0, 3.0]);
109 /// // The two syntaxes below are equivalent.
110 /// let a = foo.clone();
111 /// let b = Arc::clone(&foo);
112 /// // a, b, and foo are all Arcs that point to the same memory location
113 /// ```
114 ///
115 /// The [`Arc::clone(&from)`] syntax is the most idiomatic because it conveys more explicitly
116 /// the meaning of the code. In the example above, this syntax makes it easier to see that
117 /// this code is creating a new reference rather than copying the whole content of foo.
118 ///
119 /// ## `Deref` behavior
120 ///
121 /// `Arc<T>` automatically dereferences to `T` (via the [`Deref`][deref] trait),
122 /// so you can call `T`'s methods on a value of type `Arc<T>`. To avoid name
123 /// clashes with `T`'s methods, the methods of `Arc<T>` itself are associated
124 /// functions, called using function-like syntax:
125 ///
126 /// ```
127 /// use std::sync::Arc;
128 /// let my_arc = Arc::new(());
129 ///
130 /// Arc::downgrade(&my_arc);
131 /// ```
132 ///
133 /// [`Weak<T>`][weak] does not auto-dereference to `T`, because the value may have
134 /// already been destroyed.
135 ///
136 /// [arc]: struct.Arc.html
137 /// [weak]: struct.Weak.html
138 /// [`Rc<T>`]: ../../std/rc/struct.Rc.html
139 /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
140 /// [mutex]: ../../std/sync/struct.Mutex.html
141 /// [rwlock]: ../../std/sync/struct.RwLock.html
142 /// [atomic]: ../../std/sync/atomic/index.html
143 /// [`Send`]: ../../std/marker/trait.Send.html
144 /// [`Sync`]: ../../std/marker/trait.Sync.html
145 /// [deref]: ../../std/ops/trait.Deref.html
146 /// [downgrade]: struct.Arc.html#method.downgrade
147 /// [upgrade]: struct.Weak.html#method.upgrade
148 /// [`None`]: ../../std/option/enum.Option.html#variant.None
149 /// [`RefCell<T>`]: ../../std/cell/struct.RefCell.html
150 /// [`std::sync`]: ../../std/sync/index.html
151 /// [`Arc::clone(&from)`]: #method.clone
152 ///
153 /// # Examples
154 ///
155 /// Sharing some immutable data between threads:
156 ///
157 // Note that we **do not** run these tests here. The windows builders get super
158 // unhappy if a thread outlives the main thread and then exits at the same time
159 // (something deadlocks) so we just avoid this entirely by not running these
160 // tests.
161 /// ```no_run
162 /// use std::sync::Arc;
163 /// use std::thread;
164 ///
165 /// let five = Arc::new(5);
166 ///
167 /// for _ in 0..10 {
168 ///     let five = Arc::clone(&five);
169 ///
170 ///     thread::spawn(move || {
171 ///         println!("{:?}", five);
172 ///     });
173 /// }
174 /// ```
175 ///
176 /// Sharing a mutable [`AtomicUsize`]:
177 ///
178 /// [`AtomicUsize`]: ../../std/sync/atomic/struct.AtomicUsize.html
179 ///
180 /// ```no_run
181 /// use std::sync::Arc;
182 /// use std::sync::atomic::{AtomicUsize, Ordering};
183 /// use std::thread;
184 ///
185 /// let val = Arc::new(AtomicUsize::new(5));
186 ///
187 /// for _ in 0..10 {
188 ///     let val = Arc::clone(&val);
189 ///
190 ///     thread::spawn(move || {
191 ///         let v = val.fetch_add(1, Ordering::SeqCst);
192 ///         println!("{:?}", v);
193 ///     });
194 /// }
195 /// ```
196 ///
197 /// See the [`rc` documentation][rc_examples] for more examples of reference
198 /// counting in general.
199 ///
200 /// [rc_examples]: ../../std/rc/index.html#examples
201 #[cfg_attr(not(test), lang = "arc")]
202 #[stable(feature = "rust1", since = "1.0.0")]
203 pub struct Arc<T: ?Sized> {
204     ptr: NonNull<ArcInner<T>>,
205     phantom: PhantomData<T>,
206 }
207
208 #[stable(feature = "rust1", since = "1.0.0")]
209 unsafe impl<T: ?Sized + Sync + Send> Send for Arc<T> {}
210 #[stable(feature = "rust1", since = "1.0.0")]
211 unsafe impl<T: ?Sized + Sync + Send> Sync for Arc<T> {}
212
213 #[unstable(feature = "coerce_unsized", issue = "27732")]
214 impl<T: ?Sized + Unsize<U>, U: ?Sized> CoerceUnsized<Arc<U>> for Arc<T> {}
215
216 #[unstable(feature = "dispatch_from_dyn", issue = "0")]
217 impl<T: ?Sized + Unsize<U>, U: ?Sized> DispatchFromDyn<Arc<U>> for Arc<T> {}
218
219 /// `Weak` is a version of [`Arc`] that holds a non-owning reference to the
220 /// managed value. The value is accessed by calling [`upgrade`] on the `Weak`
221 /// pointer, which returns an [`Option`]`<`[`Arc`]`<T>>`.
222 ///
223 /// Since a `Weak` reference does not count towards ownership, it will not
224 /// prevent the inner value from being dropped, and `Weak` itself makes no
225 /// guarantees about the value still being present and may return [`None`]
226 /// when [`upgrade`]d.
227 ///
228 /// A `Weak` pointer is useful for keeping a temporary reference to the value
229 /// within [`Arc`] without extending its lifetime. It is also used to prevent
230 /// circular references between [`Arc`] pointers, since mutual owning references
231 /// would never allow either [`Arc`] to be dropped. For example, a tree could
232 /// have strong [`Arc`] pointers from parent nodes to children, and `Weak`
233 /// pointers from children back to their parents.
234 ///
235 /// The typical way to obtain a `Weak` pointer is to call [`Arc::downgrade`].
236 ///
237 /// [`Arc`]: struct.Arc.html
238 /// [`Arc::downgrade`]: struct.Arc.html#method.downgrade
239 /// [`upgrade`]: struct.Weak.html#method.upgrade
240 /// [`Option`]: ../../std/option/enum.Option.html
241 /// [`None`]: ../../std/option/enum.Option.html#variant.None
242 #[stable(feature = "arc_weak", since = "1.4.0")]
243 pub struct Weak<T: ?Sized> {
244     // This is a `NonNull` to allow optimizing the size of this type in enums,
245     // but it is not necessarily a valid pointer.
246     // `Weak::new` sets this to `usize::MAX` so that it doesn’t need
247     // to allocate space on the heap.  That's not a value a real pointer
248     // will ever have because RcBox has alignment at least 2.
249     ptr: NonNull<ArcInner<T>>,
250 }
251
252 #[stable(feature = "arc_weak", since = "1.4.0")]
253 unsafe impl<T: ?Sized + Sync + Send> Send for Weak<T> {}
254 #[stable(feature = "arc_weak", since = "1.4.0")]
255 unsafe impl<T: ?Sized + Sync + Send> Sync for Weak<T> {}
256
257 #[unstable(feature = "coerce_unsized", issue = "27732")]
258 impl<T: ?Sized + Unsize<U>, U: ?Sized> CoerceUnsized<Weak<U>> for Weak<T> {}
259 #[unstable(feature = "dispatch_from_dyn", issue = "0")]
260 impl<T: ?Sized + Unsize<U>, U: ?Sized> DispatchFromDyn<Weak<U>> for Weak<T> {}
261
262 #[stable(feature = "arc_weak", since = "1.4.0")]
263 impl<T: ?Sized + fmt::Debug> fmt::Debug for Weak<T> {
264     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
265         write!(f, "(Weak)")
266     }
267 }
268
269 struct ArcInner<T: ?Sized> {
270     strong: atomic::AtomicUsize,
271
272     // the value usize::MAX acts as a sentinel for temporarily "locking" the
273     // ability to upgrade weak pointers or downgrade strong ones; this is used
274     // to avoid races in `make_mut` and `get_mut`.
275     weak: atomic::AtomicUsize,
276
277     data: T,
278 }
279
280 unsafe impl<T: ?Sized + Sync + Send> Send for ArcInner<T> {}
281 unsafe impl<T: ?Sized + Sync + Send> Sync for ArcInner<T> {}
282
283 impl<T> Arc<T> {
284     /// Constructs a new `Arc<T>`.
285     ///
286     /// # Examples
287     ///
288     /// ```
289     /// use std::sync::Arc;
290     ///
291     /// let five = Arc::new(5);
292     /// ```
293     #[inline]
294     #[stable(feature = "rust1", since = "1.0.0")]
295     pub fn new(data: T) -> Arc<T> {
296         // Start the weak pointer count as 1 which is the weak pointer that's
297         // held by all the strong pointers (kinda), see std/rc.rs for more info
298         let x: Box<_> = box ArcInner {
299             strong: atomic::AtomicUsize::new(1),
300             weak: atomic::AtomicUsize::new(1),
301             data,
302         };
303         Arc { ptr: Box::into_raw_non_null(x), phantom: PhantomData }
304     }
305
306     #[unstable(feature = "pin", issue = "49150")]
307     pub fn pinned(data: T) -> Pin<Arc<T>> {
308         unsafe { Pin::new_unchecked(Arc::new(data)) }
309     }
310
311     /// Returns the contained value, if the `Arc` has exactly one strong reference.
312     ///
313     /// Otherwise, an [`Err`][result] is returned with the same `Arc` that was
314     /// passed in.
315     ///
316     /// This will succeed even if there are outstanding weak references.
317     ///
318     /// [result]: ../../std/result/enum.Result.html
319     ///
320     /// # Examples
321     ///
322     /// ```
323     /// use std::sync::Arc;
324     ///
325     /// let x = Arc::new(3);
326     /// assert_eq!(Arc::try_unwrap(x), Ok(3));
327     ///
328     /// let x = Arc::new(4);
329     /// let _y = Arc::clone(&x);
330     /// assert_eq!(*Arc::try_unwrap(x).unwrap_err(), 4);
331     /// ```
332     #[inline]
333     #[stable(feature = "arc_unique", since = "1.4.0")]
334     pub fn try_unwrap(this: Self) -> Result<T, Self> {
335         // See `drop` for why all these atomics are like this
336         if this.inner().strong.compare_exchange(1, 0, Release, Relaxed).is_err() {
337             return Err(this);
338         }
339
340         atomic::fence(Acquire);
341
342         unsafe {
343             let elem = ptr::read(&this.ptr.as_ref().data);
344
345             // Make a weak pointer to clean up the implicit strong-weak reference
346             let _weak = Weak { ptr: this.ptr };
347             mem::forget(this);
348
349             Ok(elem)
350         }
351     }
352 }
353
354 impl<T: ?Sized> Arc<T> {
355     /// Consumes the `Arc`, returning the wrapped pointer.
356     ///
357     /// To avoid a memory leak the pointer must be converted back to an `Arc` using
358     /// [`Arc::from_raw`][from_raw].
359     ///
360     /// [from_raw]: struct.Arc.html#method.from_raw
361     ///
362     /// # Examples
363     ///
364     /// ```
365     /// use std::sync::Arc;
366     ///
367     /// let x = Arc::new(10);
368     /// let x_ptr = Arc::into_raw(x);
369     /// assert_eq!(unsafe { *x_ptr }, 10);
370     /// ```
371     #[stable(feature = "rc_raw", since = "1.17.0")]
372     pub fn into_raw(this: Self) -> *const T {
373         let ptr: *const T = &*this;
374         mem::forget(this);
375         ptr
376     }
377
378     /// Constructs an `Arc` from a raw pointer.
379     ///
380     /// The raw pointer must have been previously returned by a call to a
381     /// [`Arc::into_raw`][into_raw].
382     ///
383     /// This function is unsafe because improper use may lead to memory problems. For example, a
384     /// double-free may occur if the function is called twice on the same raw pointer.
385     ///
386     /// [into_raw]: struct.Arc.html#method.into_raw
387     ///
388     /// # Examples
389     ///
390     /// ```
391     /// use std::sync::Arc;
392     ///
393     /// let x = Arc::new(10);
394     /// let x_ptr = Arc::into_raw(x);
395     ///
396     /// unsafe {
397     ///     // Convert back to an `Arc` to prevent leak.
398     ///     let x = Arc::from_raw(x_ptr);
399     ///     assert_eq!(*x, 10);
400     ///
401     ///     // Further calls to `Arc::from_raw(x_ptr)` would be memory unsafe.
402     /// }
403     ///
404     /// // The memory was freed when `x` went out of scope above, so `x_ptr` is now dangling!
405     /// ```
406     #[stable(feature = "rc_raw", since = "1.17.0")]
407     pub unsafe fn from_raw(ptr: *const T) -> Self {
408         // Align the unsized value to the end of the ArcInner.
409         // Because it is ?Sized, it will always be the last field in memory.
410         let align = align_of_val(&*ptr);
411         let layout = Layout::new::<ArcInner<()>>();
412         let offset = (layout.size() + layout.padding_needed_for(align)) as isize;
413
414         // Reverse the offset to find the original ArcInner.
415         let fake_ptr = ptr as *mut ArcInner<T>;
416         let arc_ptr = set_data_ptr(fake_ptr, (ptr as *mut u8).offset(-offset));
417
418         Arc {
419             ptr: NonNull::new_unchecked(arc_ptr),
420             phantom: PhantomData,
421         }
422     }
423
424     /// Creates a new [`Weak`][weak] pointer to this value.
425     ///
426     /// [weak]: struct.Weak.html
427     ///
428     /// # Examples
429     ///
430     /// ```
431     /// use std::sync::Arc;
432     ///
433     /// let five = Arc::new(5);
434     ///
435     /// let weak_five = Arc::downgrade(&five);
436     /// ```
437     #[stable(feature = "arc_weak", since = "1.4.0")]
438     pub fn downgrade(this: &Self) -> Weak<T> {
439         // This Relaxed is OK because we're checking the value in the CAS
440         // below.
441         let mut cur = this.inner().weak.load(Relaxed);
442
443         loop {
444             // check if the weak counter is currently "locked"; if so, spin.
445             if cur == usize::MAX {
446                 cur = this.inner().weak.load(Relaxed);
447                 continue;
448             }
449
450             // NOTE: this code currently ignores the possibility of overflow
451             // into usize::MAX; in general both Rc and Arc need to be adjusted
452             // to deal with overflow.
453
454             // Unlike with Clone(), we need this to be an Acquire read to
455             // synchronize with the write coming from `is_unique`, so that the
456             // events prior to that write happen before this read.
457             match this.inner().weak.compare_exchange_weak(cur, cur + 1, Acquire, Relaxed) {
458                 Ok(_) => {
459                     // Make sure we do not create a dangling Weak
460                     debug_assert!(!is_dangling(this.ptr));
461                     return Weak { ptr: this.ptr };
462                 }
463                 Err(old) => cur = old,
464             }
465         }
466     }
467
468     /// Gets the number of [`Weak`][weak] pointers to this value.
469     ///
470     /// [weak]: struct.Weak.html
471     ///
472     /// # Safety
473     ///
474     /// This method by itself is safe, but using it correctly requires extra care.
475     /// Another thread can change the weak count at any time,
476     /// including potentially between calling this method and acting on the result.
477     ///
478     /// # Examples
479     ///
480     /// ```
481     /// use std::sync::Arc;
482     ///
483     /// let five = Arc::new(5);
484     /// let _weak_five = Arc::downgrade(&five);
485     ///
486     /// // This assertion is deterministic because we haven't shared
487     /// // the `Arc` or `Weak` between threads.
488     /// assert_eq!(1, Arc::weak_count(&five));
489     /// ```
490     #[inline]
491     #[stable(feature = "arc_counts", since = "1.15.0")]
492     pub fn weak_count(this: &Self) -> usize {
493         let cnt = this.inner().weak.load(SeqCst);
494         // If the weak count is currently locked, the value of the
495         // count was 0 just before taking the lock.
496         if cnt == usize::MAX { 0 } else { cnt - 1 }
497     }
498
499     /// Gets the number of strong (`Arc`) pointers to this value.
500     ///
501     /// # Safety
502     ///
503     /// This method by itself is safe, but using it correctly requires extra care.
504     /// Another thread can change the strong count at any time,
505     /// including potentially between calling this method and acting on the result.
506     ///
507     /// # Examples
508     ///
509     /// ```
510     /// use std::sync::Arc;
511     ///
512     /// let five = Arc::new(5);
513     /// let _also_five = Arc::clone(&five);
514     ///
515     /// // This assertion is deterministic because we haven't shared
516     /// // the `Arc` between threads.
517     /// assert_eq!(2, Arc::strong_count(&five));
518     /// ```
519     #[inline]
520     #[stable(feature = "arc_counts", since = "1.15.0")]
521     pub fn strong_count(this: &Self) -> usize {
522         this.inner().strong.load(SeqCst)
523     }
524
525     #[inline]
526     fn inner(&self) -> &ArcInner<T> {
527         // This unsafety is ok because while this arc is alive we're guaranteed
528         // that the inner pointer is valid. Furthermore, we know that the
529         // `ArcInner` structure itself is `Sync` because the inner data is
530         // `Sync` as well, so we're ok loaning out an immutable pointer to these
531         // contents.
532         unsafe { self.ptr.as_ref() }
533     }
534
535     // Non-inlined part of `drop`.
536     #[inline(never)]
537     unsafe fn drop_slow(&mut self) {
538         // Destroy the data at this time, even though we may not free the box
539         // allocation itself (there may still be weak pointers lying around).
540         ptr::drop_in_place(&mut self.ptr.as_mut().data);
541
542         if self.inner().weak.fetch_sub(1, Release) == 1 {
543             atomic::fence(Acquire);
544             Global.dealloc(self.ptr.cast(), Layout::for_value(self.ptr.as_ref()))
545         }
546     }
547
548     #[inline]
549     #[stable(feature = "ptr_eq", since = "1.17.0")]
550     /// Returns true if the two `Arc`s point to the same value (not
551     /// just values that compare as equal).
552     ///
553     /// # Examples
554     ///
555     /// ```
556     /// use std::sync::Arc;
557     ///
558     /// let five = Arc::new(5);
559     /// let same_five = Arc::clone(&five);
560     /// let other_five = Arc::new(5);
561     ///
562     /// assert!(Arc::ptr_eq(&five, &same_five));
563     /// assert!(!Arc::ptr_eq(&five, &other_five));
564     /// ```
565     pub fn ptr_eq(this: &Self, other: &Self) -> bool {
566         this.ptr.as_ptr() == other.ptr.as_ptr()
567     }
568 }
569
570 impl<T: ?Sized> Arc<T> {
571     // Allocates an `ArcInner<T>` with sufficient space for an unsized value
572     unsafe fn allocate_for_ptr(ptr: *const T) -> *mut ArcInner<T> {
573         // Calculate layout using the given value.
574         // Previously, layout was calculated on the expression
575         // `&*(ptr as *const ArcInner<T>)`, but this created a misaligned
576         // reference (see #54908).
577         let layout = Layout::new::<ArcInner<()>>()
578             .extend(Layout::for_value(&*ptr)).unwrap().0
579             .pad_to_align().unwrap();
580
581         let mem = Global.alloc(layout)
582             .unwrap_or_else(|_| handle_alloc_error(layout));
583
584         // Initialize the ArcInner
585         let inner = set_data_ptr(ptr as *mut T, mem.as_ptr() as *mut u8) as *mut ArcInner<T>;
586         debug_assert_eq!(Layout::for_value(&*inner), layout);
587
588         ptr::write(&mut (*inner).strong, atomic::AtomicUsize::new(1));
589         ptr::write(&mut (*inner).weak, atomic::AtomicUsize::new(1));
590
591         inner
592     }
593
594     fn from_box(v: Box<T>) -> Arc<T> {
595         unsafe {
596             let box_unique = Box::into_unique(v);
597             let bptr = box_unique.as_ptr();
598
599             let value_size = size_of_val(&*bptr);
600             let ptr = Self::allocate_for_ptr(bptr);
601
602             // Copy value as bytes
603             ptr::copy_nonoverlapping(
604                 bptr as *const T as *const u8,
605                 &mut (*ptr).data as *mut _ as *mut u8,
606                 value_size);
607
608             // Free the allocation without dropping its contents
609             box_free(box_unique);
610
611             Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
612         }
613     }
614 }
615
616 // Sets the data pointer of a `?Sized` raw pointer.
617 //
618 // For a slice/trait object, this sets the `data` field and leaves the rest
619 // unchanged. For a sized raw pointer, this simply sets the pointer.
620 unsafe fn set_data_ptr<T: ?Sized, U>(mut ptr: *mut T, data: *mut U) -> *mut T {
621     ptr::write(&mut ptr as *mut _ as *mut *mut u8, data as *mut u8);
622     ptr
623 }
624
625 impl<T> Arc<[T]> {
626     // Copy elements from slice into newly allocated Arc<[T]>
627     //
628     // Unsafe because the caller must either take ownership or bind `T: Copy`
629     unsafe fn copy_from_slice(v: &[T]) -> Arc<[T]> {
630         let v_ptr = v as *const [T];
631         let ptr = Self::allocate_for_ptr(v_ptr);
632
633         ptr::copy_nonoverlapping(
634             v.as_ptr(),
635             &mut (*ptr).data as *mut [T] as *mut T,
636             v.len());
637
638         Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
639     }
640 }
641
642 // Specialization trait used for From<&[T]>
643 trait ArcFromSlice<T> {
644     fn from_slice(slice: &[T]) -> Self;
645 }
646
647 impl<T: Clone> ArcFromSlice<T> for Arc<[T]> {
648     #[inline]
649     default fn from_slice(v: &[T]) -> Self {
650         // Panic guard while cloning T elements.
651         // In the event of a panic, elements that have been written
652         // into the new ArcInner will be dropped, then the memory freed.
653         struct Guard<T> {
654             mem: NonNull<u8>,
655             elems: *mut T,
656             layout: Layout,
657             n_elems: usize,
658         }
659
660         impl<T> Drop for Guard<T> {
661             fn drop(&mut self) {
662                 use core::slice::from_raw_parts_mut;
663
664                 unsafe {
665                     let slice = from_raw_parts_mut(self.elems, self.n_elems);
666                     ptr::drop_in_place(slice);
667
668                     Global.dealloc(self.mem.cast(), self.layout.clone());
669                 }
670             }
671         }
672
673         unsafe {
674             let v_ptr = v as *const [T];
675             let ptr = Self::allocate_for_ptr(v_ptr);
676
677             let mem = ptr as *mut _ as *mut u8;
678             let layout = Layout::for_value(&*ptr);
679
680             // Pointer to first element
681             let elems = &mut (*ptr).data as *mut [T] as *mut T;
682
683             let mut guard = Guard{
684                 mem: NonNull::new_unchecked(mem),
685                 elems: elems,
686                 layout: layout,
687                 n_elems: 0,
688             };
689
690             for (i, item) in v.iter().enumerate() {
691                 ptr::write(elems.add(i), item.clone());
692                 guard.n_elems += 1;
693             }
694
695             // All clear. Forget the guard so it doesn't free the new ArcInner.
696             mem::forget(guard);
697
698             Arc { ptr: NonNull::new_unchecked(ptr), phantom: PhantomData }
699         }
700     }
701 }
702
703 impl<T: Copy> ArcFromSlice<T> for Arc<[T]> {
704     #[inline]
705     fn from_slice(v: &[T]) -> Self {
706         unsafe { Arc::copy_from_slice(v) }
707     }
708 }
709
710 #[stable(feature = "rust1", since = "1.0.0")]
711 impl<T: ?Sized> Clone for Arc<T> {
712     /// Makes a clone of the `Arc` pointer.
713     ///
714     /// This creates another pointer to the same inner value, increasing the
715     /// strong reference count.
716     ///
717     /// # Examples
718     ///
719     /// ```
720     /// use std::sync::Arc;
721     ///
722     /// let five = Arc::new(5);
723     ///
724     /// let _ = Arc::clone(&five);
725     /// ```
726     #[inline]
727     fn clone(&self) -> Arc<T> {
728         // Using a relaxed ordering is alright here, as knowledge of the
729         // original reference prevents other threads from erroneously deleting
730         // the object.
731         //
732         // As explained in the [Boost documentation][1], Increasing the
733         // reference counter can always be done with memory_order_relaxed: New
734         // references to an object can only be formed from an existing
735         // reference, and passing an existing reference from one thread to
736         // another must already provide any required synchronization.
737         //
738         // [1]: (www.boost.org/doc/libs/1_55_0/doc/html/atomic/usage_examples.html)
739         let old_size = self.inner().strong.fetch_add(1, Relaxed);
740
741         // However we need to guard against massive refcounts in case someone
742         // is `mem::forget`ing Arcs. If we don't do this the count can overflow
743         // and users will use-after free. We racily saturate to `isize::MAX` on
744         // the assumption that there aren't ~2 billion threads incrementing
745         // the reference count at once. This branch will never be taken in
746         // any realistic program.
747         //
748         // We abort because such a program is incredibly degenerate, and we
749         // don't care to support it.
750         if old_size > MAX_REFCOUNT {
751             unsafe {
752                 abort();
753             }
754         }
755
756         Arc { ptr: self.ptr, phantom: PhantomData }
757     }
758 }
759
760 #[stable(feature = "rust1", since = "1.0.0")]
761 impl<T: ?Sized> Deref for Arc<T> {
762     type Target = T;
763
764     #[inline]
765     fn deref(&self) -> &T {
766         &self.inner().data
767     }
768 }
769
770 impl<T: Clone> Arc<T> {
771     /// Makes a mutable reference into the given `Arc`.
772     ///
773     /// If there are other `Arc` or [`Weak`][weak] pointers to the same value,
774     /// then `make_mut` will invoke [`clone`][clone] on the inner value to
775     /// ensure unique ownership. This is also referred to as clone-on-write.
776     ///
777     /// See also [`get_mut`][get_mut], which will fail rather than cloning.
778     ///
779     /// [weak]: struct.Weak.html
780     /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
781     /// [get_mut]: struct.Arc.html#method.get_mut
782     ///
783     /// # Examples
784     ///
785     /// ```
786     /// use std::sync::Arc;
787     ///
788     /// let mut data = Arc::new(5);
789     ///
790     /// *Arc::make_mut(&mut data) += 1;         // Won't clone anything
791     /// let mut other_data = Arc::clone(&data); // Won't clone inner data
792     /// *Arc::make_mut(&mut data) += 1;         // Clones inner data
793     /// *Arc::make_mut(&mut data) += 1;         // Won't clone anything
794     /// *Arc::make_mut(&mut other_data) *= 2;   // Won't clone anything
795     ///
796     /// // Now `data` and `other_data` point to different values.
797     /// assert_eq!(*data, 8);
798     /// assert_eq!(*other_data, 12);
799     /// ```
800     #[inline]
801     #[stable(feature = "arc_unique", since = "1.4.0")]
802     pub fn make_mut(this: &mut Self) -> &mut T {
803         // Note that we hold both a strong reference and a weak reference.
804         // Thus, releasing our strong reference only will not, by itself, cause
805         // the memory to be deallocated.
806         //
807         // Use Acquire to ensure that we see any writes to `weak` that happen
808         // before release writes (i.e., decrements) to `strong`. Since we hold a
809         // weak count, there's no chance the ArcInner itself could be
810         // deallocated.
811         if this.inner().strong.compare_exchange(1, 0, Acquire, Relaxed).is_err() {
812             // Another strong pointer exists; clone
813             *this = Arc::new((**this).clone());
814         } else if this.inner().weak.load(Relaxed) != 1 {
815             // Relaxed suffices in the above because this is fundamentally an
816             // optimization: we are always racing with weak pointers being
817             // dropped. Worst case, we end up allocated a new Arc unnecessarily.
818
819             // We removed the last strong ref, but there are additional weak
820             // refs remaining. We'll move the contents to a new Arc, and
821             // invalidate the other weak refs.
822
823             // Note that it is not possible for the read of `weak` to yield
824             // usize::MAX (i.e., locked), since the weak count can only be
825             // locked by a thread with a strong reference.
826
827             // Materialize our own implicit weak pointer, so that it can clean
828             // up the ArcInner as needed.
829             let weak = Weak { ptr: this.ptr };
830
831             // mark the data itself as already deallocated
832             unsafe {
833                 // there is no data race in the implicit write caused by `read`
834                 // here (due to zeroing) because data is no longer accessed by
835                 // other threads (due to there being no more strong refs at this
836                 // point).
837                 let mut swap = Arc::new(ptr::read(&weak.ptr.as_ref().data));
838                 mem::swap(this, &mut swap);
839                 mem::forget(swap);
840             }
841         } else {
842             // We were the sole reference of either kind; bump back up the
843             // strong ref count.
844             this.inner().strong.store(1, Release);
845         }
846
847         // As with `get_mut()`, the unsafety is ok because our reference was
848         // either unique to begin with, or became one upon cloning the contents.
849         unsafe {
850             &mut this.ptr.as_mut().data
851         }
852     }
853 }
854
855 impl<T: ?Sized> Arc<T> {
856     /// Returns a mutable reference to the inner value, if there are
857     /// no other `Arc` or [`Weak`][weak] pointers to the same value.
858     ///
859     /// Returns [`None`][option] otherwise, because it is not safe to
860     /// mutate a shared value.
861     ///
862     /// See also [`make_mut`][make_mut], which will [`clone`][clone]
863     /// the inner value when it's shared.
864     ///
865     /// [weak]: struct.Weak.html
866     /// [option]: ../../std/option/enum.Option.html
867     /// [make_mut]: struct.Arc.html#method.make_mut
868     /// [clone]: ../../std/clone/trait.Clone.html#tymethod.clone
869     ///
870     /// # Examples
871     ///
872     /// ```
873     /// use std::sync::Arc;
874     ///
875     /// let mut x = Arc::new(3);
876     /// *Arc::get_mut(&mut x).unwrap() = 4;
877     /// assert_eq!(*x, 4);
878     ///
879     /// let _y = Arc::clone(&x);
880     /// assert!(Arc::get_mut(&mut x).is_none());
881     /// ```
882     #[inline]
883     #[stable(feature = "arc_unique", since = "1.4.0")]
884     pub fn get_mut(this: &mut Self) -> Option<&mut T> {
885         if this.is_unique() {
886             // This unsafety is ok because we're guaranteed that the pointer
887             // returned is the *only* pointer that will ever be returned to T. Our
888             // reference count is guaranteed to be 1 at this point, and we required
889             // the Arc itself to be `mut`, so we're returning the only possible
890             // reference to the inner data.
891             unsafe {
892                 Some(&mut this.ptr.as_mut().data)
893             }
894         } else {
895             None
896         }
897     }
898
899     /// Determine whether this is the unique reference (including weak refs) to
900     /// the underlying data.
901     ///
902     /// Note that this requires locking the weak ref count.
903     fn is_unique(&mut self) -> bool {
904         // lock the weak pointer count if we appear to be the sole weak pointer
905         // holder.
906         //
907         // The acquire label here ensures a happens-before relationship with any
908         // writes to `strong` (in particular in `Weak::upgrade`) prior to decrements
909         // of the `weak` count (via `Weak::drop`, which uses release).  If the upgraded
910         // weak ref was never dropped, the CAS here will fail so we do not care to synchronize.
911         if self.inner().weak.compare_exchange(1, usize::MAX, Acquire, Relaxed).is_ok() {
912             // This needs to be an `Acquire` to synchronize with the decrement of the `strong`
913             // counter in `drop` -- the only access that happens when any but the last reference
914             // is being dropped.
915             let unique = self.inner().strong.load(Acquire) == 1;
916
917             // The release write here synchronizes with a read in `downgrade`,
918             // effectively preventing the above read of `strong` from happening
919             // after the write.
920             self.inner().weak.store(1, Release); // release the lock
921             unique
922         } else {
923             false
924         }
925     }
926 }
927
928 #[stable(feature = "rust1", since = "1.0.0")]
929 unsafe impl<#[may_dangle] T: ?Sized> Drop for Arc<T> {
930     /// Drops the `Arc`.
931     ///
932     /// This will decrement the strong reference count. If the strong reference
933     /// count reaches zero then the only other references (if any) are
934     /// [`Weak`], so we `drop` the inner value.
935     ///
936     /// # Examples
937     ///
938     /// ```
939     /// use std::sync::Arc;
940     ///
941     /// struct Foo;
942     ///
943     /// impl Drop for Foo {
944     ///     fn drop(&mut self) {
945     ///         println!("dropped!");
946     ///     }
947     /// }
948     ///
949     /// let foo  = Arc::new(Foo);
950     /// let foo2 = Arc::clone(&foo);
951     ///
952     /// drop(foo);    // Doesn't print anything
953     /// drop(foo2);   // Prints "dropped!"
954     /// ```
955     #[inline]
956     fn drop(&mut self) {
957         // Because `fetch_sub` is already atomic, we do not need to synchronize
958         // with other threads unless we are going to delete the object. This
959         // same logic applies to the below `fetch_sub` to the `weak` count.
960         if self.inner().strong.fetch_sub(1, Release) != 1 {
961             return;
962         }
963
964         // This fence is needed to prevent reordering of use of the data and
965         // deletion of the data.  Because it is marked `Release`, the decreasing
966         // of the reference count synchronizes with this `Acquire` fence. This
967         // means that use of the data happens before decreasing the reference
968         // count, which happens before this fence, which happens before the
969         // deletion of the data.
970         //
971         // As explained in the [Boost documentation][1],
972         //
973         // > It is important to enforce any possible access to the object in one
974         // > thread (through an existing reference) to *happen before* deleting
975         // > the object in a different thread. This is achieved by a "release"
976         // > operation after dropping a reference (any access to the object
977         // > through this reference must obviously happened before), and an
978         // > "acquire" operation before deleting the object.
979         //
980         // In particular, while the contents of an Arc are usually immutable, it's
981         // possible to have interior writes to something like a Mutex<T>. Since a
982         // Mutex is not acquired when it is deleted, we can't rely on its
983         // synchronization logic to make writes in thread A visible to a destructor
984         // running in thread B.
985         //
986         // Also note that the Acquire fence here could probably be replaced with an
987         // Acquire load, which could improve performance in highly-contended
988         // situations. See [2].
989         //
990         // [1]: (www.boost.org/doc/libs/1_55_0/doc/html/atomic/usage_examples.html)
991         // [2]: (https://github.com/rust-lang/rust/pull/41714)
992         atomic::fence(Acquire);
993
994         unsafe {
995             self.drop_slow();
996         }
997     }
998 }
999
1000 impl Arc<dyn Any + Send + Sync> {
1001     #[inline]
1002     #[stable(feature = "rc_downcast", since = "1.29.0")]
1003     /// Attempt to downcast the `Arc<dyn Any + Send + Sync>` to a concrete type.
1004     ///
1005     /// # Examples
1006     ///
1007     /// ```
1008     /// use std::any::Any;
1009     /// use std::sync::Arc;
1010     ///
1011     /// fn print_if_string(value: Arc<dyn Any + Send + Sync>) {
1012     ///     if let Ok(string) = value.downcast::<String>() {
1013     ///         println!("String ({}): {}", string.len(), string);
1014     ///     }
1015     /// }
1016     ///
1017     /// fn main() {
1018     ///     let my_string = "Hello World".to_string();
1019     ///     print_if_string(Arc::new(my_string));
1020     ///     print_if_string(Arc::new(0i8));
1021     /// }
1022     /// ```
1023     pub fn downcast<T>(self) -> Result<Arc<T>, Self>
1024     where
1025         T: Any + Send + Sync + 'static,
1026     {
1027         if (*self).is::<T>() {
1028             let ptr = self.ptr.cast::<ArcInner<T>>();
1029             mem::forget(self);
1030             Ok(Arc { ptr, phantom: PhantomData })
1031         } else {
1032             Err(self)
1033         }
1034     }
1035 }
1036
1037 impl<T> Weak<T> {
1038     /// Constructs a new `Weak<T>`, without allocating any memory.
1039     /// Calling [`upgrade`] on the return value always gives [`None`].
1040     ///
1041     /// [`upgrade`]: struct.Weak.html#method.upgrade
1042     /// [`None`]: ../../std/option/enum.Option.html#variant.None
1043     ///
1044     /// # Examples
1045     ///
1046     /// ```
1047     /// use std::sync::Weak;
1048     ///
1049     /// let empty: Weak<i64> = Weak::new();
1050     /// assert!(empty.upgrade().is_none());
1051     /// ```
1052     #[stable(feature = "downgraded_weak", since = "1.10.0")]
1053     pub fn new() -> Weak<T> {
1054         Weak {
1055             ptr: NonNull::new(usize::MAX as *mut ArcInner<T>).expect("MAX is not 0"),
1056         }
1057     }
1058 }
1059
1060 impl<T: ?Sized> Weak<T> {
1061     /// Attempts to upgrade the `Weak` pointer to an [`Arc`], extending
1062     /// the lifetime of the value if successful.
1063     ///
1064     /// Returns [`None`] if the value has since been dropped.
1065     ///
1066     /// [`Arc`]: struct.Arc.html
1067     /// [`None`]: ../../std/option/enum.Option.html#variant.None
1068     ///
1069     /// # Examples
1070     ///
1071     /// ```
1072     /// use std::sync::Arc;
1073     ///
1074     /// let five = Arc::new(5);
1075     ///
1076     /// let weak_five = Arc::downgrade(&five);
1077     ///
1078     /// let strong_five: Option<Arc<_>> = weak_five.upgrade();
1079     /// assert!(strong_five.is_some());
1080     ///
1081     /// // Destroy all strong pointers.
1082     /// drop(strong_five);
1083     /// drop(five);
1084     ///
1085     /// assert!(weak_five.upgrade().is_none());
1086     /// ```
1087     #[stable(feature = "arc_weak", since = "1.4.0")]
1088     pub fn upgrade(&self) -> Option<Arc<T>> {
1089         // We use a CAS loop to increment the strong count instead of a
1090         // fetch_add because once the count hits 0 it must never be above 0.
1091         let inner = self.inner()?;
1092
1093         // Relaxed load because any write of 0 that we can observe
1094         // leaves the field in a permanently zero state (so a
1095         // "stale" read of 0 is fine), and any other value is
1096         // confirmed via the CAS below.
1097         let mut n = inner.strong.load(Relaxed);
1098
1099         loop {
1100             if n == 0 {
1101                 return None;
1102             }
1103
1104             // See comments in `Arc::clone` for why we do this (for `mem::forget`).
1105             if n > MAX_REFCOUNT {
1106                 unsafe {
1107                     abort();
1108                 }
1109             }
1110
1111             // Relaxed is valid for the same reason it is on Arc's Clone impl
1112             match inner.strong.compare_exchange_weak(n, n + 1, Relaxed, Relaxed) {
1113                 Ok(_) => return Some(Arc {
1114                     // null checked above
1115                     ptr: self.ptr,
1116                     phantom: PhantomData,
1117                 }),
1118                 Err(old) => n = old,
1119             }
1120         }
1121     }
1122
1123     /// Return `None` when the pointer is dangling and there is no allocated `ArcInner`,
1124     /// i.e. this `Weak` was created by `Weak::new`
1125     #[inline]
1126     fn inner(&self) -> Option<&ArcInner<T>> {
1127         if is_dangling(self.ptr) {
1128             None
1129         } else {
1130             Some(unsafe { self.ptr.as_ref() })
1131         }
1132     }
1133 }
1134
1135 #[stable(feature = "arc_weak", since = "1.4.0")]
1136 impl<T: ?Sized> Clone for Weak<T> {
1137     /// Makes a clone of the `Weak` pointer that points to the same value.
1138     ///
1139     /// # Examples
1140     ///
1141     /// ```
1142     /// use std::sync::{Arc, Weak};
1143     ///
1144     /// let weak_five = Arc::downgrade(&Arc::new(5));
1145     ///
1146     /// let _ = Weak::clone(&weak_five);
1147     /// ```
1148     #[inline]
1149     fn clone(&self) -> Weak<T> {
1150         let inner = if let Some(inner) = self.inner() {
1151             inner
1152         } else {
1153             return Weak { ptr: self.ptr };
1154         };
1155         // See comments in Arc::clone() for why this is relaxed.  This can use a
1156         // fetch_add (ignoring the lock) because the weak count is only locked
1157         // where are *no other* weak pointers in existence. (So we can't be
1158         // running this code in that case).
1159         let old_size = inner.weak.fetch_add(1, Relaxed);
1160
1161         // See comments in Arc::clone() for why we do this (for mem::forget).
1162         if old_size > MAX_REFCOUNT {
1163             unsafe {
1164                 abort();
1165             }
1166         }
1167
1168         return Weak { ptr: self.ptr };
1169     }
1170 }
1171
1172 #[stable(feature = "downgraded_weak", since = "1.10.0")]
1173 impl<T> Default for Weak<T> {
1174     /// Constructs a new `Weak<T>`, without allocating memory.
1175     /// Calling [`upgrade`][Weak::upgrade] on the return value always
1176     /// gives [`None`].
1177     ///
1178     /// [`None`]: ../../std/option/enum.Option.html#variant.None
1179     ///
1180     /// # Examples
1181     ///
1182     /// ```
1183     /// use std::sync::Weak;
1184     ///
1185     /// let empty: Weak<i64> = Default::default();
1186     /// assert!(empty.upgrade().is_none());
1187     /// ```
1188     fn default() -> Weak<T> {
1189         Weak::new()
1190     }
1191 }
1192
1193 #[stable(feature = "arc_weak", since = "1.4.0")]
1194 impl<T: ?Sized> Drop for Weak<T> {
1195     /// Drops the `Weak` pointer.
1196     ///
1197     /// # Examples
1198     ///
1199     /// ```
1200     /// use std::sync::{Arc, Weak};
1201     ///
1202     /// struct Foo;
1203     ///
1204     /// impl Drop for Foo {
1205     ///     fn drop(&mut self) {
1206     ///         println!("dropped!");
1207     ///     }
1208     /// }
1209     ///
1210     /// let foo = Arc::new(Foo);
1211     /// let weak_foo = Arc::downgrade(&foo);
1212     /// let other_weak_foo = Weak::clone(&weak_foo);
1213     ///
1214     /// drop(weak_foo);   // Doesn't print anything
1215     /// drop(foo);        // Prints "dropped!"
1216     ///
1217     /// assert!(other_weak_foo.upgrade().is_none());
1218     /// ```
1219     fn drop(&mut self) {
1220         // If we find out that we were the last weak pointer, then its time to
1221         // deallocate the data entirely. See the discussion in Arc::drop() about
1222         // the memory orderings
1223         //
1224         // It's not necessary to check for the locked state here, because the
1225         // weak count can only be locked if there was precisely one weak ref,
1226         // meaning that drop could only subsequently run ON that remaining weak
1227         // ref, which can only happen after the lock is released.
1228         let inner = if let Some(inner) = self.inner() {
1229             inner
1230         } else {
1231             return
1232         };
1233
1234         if inner.weak.fetch_sub(1, Release) == 1 {
1235             atomic::fence(Acquire);
1236             unsafe {
1237                 Global.dealloc(self.ptr.cast(), Layout::for_value(self.ptr.as_ref()))
1238             }
1239         }
1240     }
1241 }
1242
1243 #[stable(feature = "rust1", since = "1.0.0")]
1244 impl<T: ?Sized + PartialEq> PartialEq for Arc<T> {
1245     /// Equality for two `Arc`s.
1246     ///
1247     /// Two `Arc`s are equal if their inner values are equal.
1248     ///
1249     /// # Examples
1250     ///
1251     /// ```
1252     /// use std::sync::Arc;
1253     ///
1254     /// let five = Arc::new(5);
1255     ///
1256     /// assert!(five == Arc::new(5));
1257     /// ```
1258     fn eq(&self, other: &Arc<T>) -> bool {
1259         *(*self) == *(*other)
1260     }
1261
1262     /// Inequality for two `Arc`s.
1263     ///
1264     /// Two `Arc`s are unequal if their inner values are unequal.
1265     ///
1266     /// # Examples
1267     ///
1268     /// ```
1269     /// use std::sync::Arc;
1270     ///
1271     /// let five = Arc::new(5);
1272     ///
1273     /// assert!(five != Arc::new(6));
1274     /// ```
1275     fn ne(&self, other: &Arc<T>) -> bool {
1276         *(*self) != *(*other)
1277     }
1278 }
1279 #[stable(feature = "rust1", since = "1.0.0")]
1280 impl<T: ?Sized + PartialOrd> PartialOrd for Arc<T> {
1281     /// Partial comparison for two `Arc`s.
1282     ///
1283     /// The two are compared by calling `partial_cmp()` on their inner values.
1284     ///
1285     /// # Examples
1286     ///
1287     /// ```
1288     /// use std::sync::Arc;
1289     /// use std::cmp::Ordering;
1290     ///
1291     /// let five = Arc::new(5);
1292     ///
1293     /// assert_eq!(Some(Ordering::Less), five.partial_cmp(&Arc::new(6)));
1294     /// ```
1295     fn partial_cmp(&self, other: &Arc<T>) -> Option<Ordering> {
1296         (**self).partial_cmp(&**other)
1297     }
1298
1299     /// Less-than comparison for two `Arc`s.
1300     ///
1301     /// The two are compared by calling `<` on their inner values.
1302     ///
1303     /// # Examples
1304     ///
1305     /// ```
1306     /// use std::sync::Arc;
1307     ///
1308     /// let five = Arc::new(5);
1309     ///
1310     /// assert!(five < Arc::new(6));
1311     /// ```
1312     fn lt(&self, other: &Arc<T>) -> bool {
1313         *(*self) < *(*other)
1314     }
1315
1316     /// 'Less than or equal to' comparison for two `Arc`s.
1317     ///
1318     /// The two are compared by calling `<=` on their inner values.
1319     ///
1320     /// # Examples
1321     ///
1322     /// ```
1323     /// use std::sync::Arc;
1324     ///
1325     /// let five = Arc::new(5);
1326     ///
1327     /// assert!(five <= Arc::new(5));
1328     /// ```
1329     fn le(&self, other: &Arc<T>) -> bool {
1330         *(*self) <= *(*other)
1331     }
1332
1333     /// Greater-than comparison for two `Arc`s.
1334     ///
1335     /// The two are compared by calling `>` on their inner values.
1336     ///
1337     /// # Examples
1338     ///
1339     /// ```
1340     /// use std::sync::Arc;
1341     ///
1342     /// let five = Arc::new(5);
1343     ///
1344     /// assert!(five > Arc::new(4));
1345     /// ```
1346     fn gt(&self, other: &Arc<T>) -> bool {
1347         *(*self) > *(*other)
1348     }
1349
1350     /// 'Greater than or equal to' comparison for two `Arc`s.
1351     ///
1352     /// The two are compared by calling `>=` on their inner values.
1353     ///
1354     /// # Examples
1355     ///
1356     /// ```
1357     /// use std::sync::Arc;
1358     ///
1359     /// let five = Arc::new(5);
1360     ///
1361     /// assert!(five >= Arc::new(5));
1362     /// ```
1363     fn ge(&self, other: &Arc<T>) -> bool {
1364         *(*self) >= *(*other)
1365     }
1366 }
1367 #[stable(feature = "rust1", since = "1.0.0")]
1368 impl<T: ?Sized + Ord> Ord for Arc<T> {
1369     /// Comparison for two `Arc`s.
1370     ///
1371     /// The two are compared by calling `cmp()` on their inner values.
1372     ///
1373     /// # Examples
1374     ///
1375     /// ```
1376     /// use std::sync::Arc;
1377     /// use std::cmp::Ordering;
1378     ///
1379     /// let five = Arc::new(5);
1380     ///
1381     /// assert_eq!(Ordering::Less, five.cmp(&Arc::new(6)));
1382     /// ```
1383     fn cmp(&self, other: &Arc<T>) -> Ordering {
1384         (**self).cmp(&**other)
1385     }
1386 }
1387 #[stable(feature = "rust1", since = "1.0.0")]
1388 impl<T: ?Sized + Eq> Eq for Arc<T> {}
1389
1390 #[stable(feature = "rust1", since = "1.0.0")]
1391 impl<T: ?Sized + fmt::Display> fmt::Display for Arc<T> {
1392     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1393         fmt::Display::fmt(&**self, f)
1394     }
1395 }
1396
1397 #[stable(feature = "rust1", since = "1.0.0")]
1398 impl<T: ?Sized + fmt::Debug> fmt::Debug for Arc<T> {
1399     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1400         fmt::Debug::fmt(&**self, f)
1401     }
1402 }
1403
1404 #[stable(feature = "rust1", since = "1.0.0")]
1405 impl<T: ?Sized> fmt::Pointer for Arc<T> {
1406     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
1407         fmt::Pointer::fmt(&(&**self as *const T), f)
1408     }
1409 }
1410
1411 #[stable(feature = "rust1", since = "1.0.0")]
1412 impl<T: Default> Default for Arc<T> {
1413     /// Creates a new `Arc<T>`, with the `Default` value for `T`.
1414     ///
1415     /// # Examples
1416     ///
1417     /// ```
1418     /// use std::sync::Arc;
1419     ///
1420     /// let x: Arc<i32> = Default::default();
1421     /// assert_eq!(*x, 0);
1422     /// ```
1423     fn default() -> Arc<T> {
1424         Arc::new(Default::default())
1425     }
1426 }
1427
1428 #[stable(feature = "rust1", since = "1.0.0")]
1429 impl<T: ?Sized + Hash> Hash for Arc<T> {
1430     fn hash<H: Hasher>(&self, state: &mut H) {
1431         (**self).hash(state)
1432     }
1433 }
1434
1435 #[stable(feature = "from_for_ptrs", since = "1.6.0")]
1436 impl<T> From<T> for Arc<T> {
1437     fn from(t: T) -> Self {
1438         Arc::new(t)
1439     }
1440 }
1441
1442 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1443 impl<'a, T: Clone> From<&'a [T]> for Arc<[T]> {
1444     #[inline]
1445     fn from(v: &[T]) -> Arc<[T]> {
1446         <Self as ArcFromSlice<T>>::from_slice(v)
1447     }
1448 }
1449
1450 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1451 impl<'a> From<&'a str> for Arc<str> {
1452     #[inline]
1453     fn from(v: &str) -> Arc<str> {
1454         let arc = Arc::<[u8]>::from(v.as_bytes());
1455         unsafe { Arc::from_raw(Arc::into_raw(arc) as *const str) }
1456     }
1457 }
1458
1459 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1460 impl From<String> for Arc<str> {
1461     #[inline]
1462     fn from(v: String) -> Arc<str> {
1463         Arc::from(&v[..])
1464     }
1465 }
1466
1467 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1468 impl<T: ?Sized> From<Box<T>> for Arc<T> {
1469     #[inline]
1470     fn from(v: Box<T>) -> Arc<T> {
1471         Arc::from_box(v)
1472     }
1473 }
1474
1475 #[stable(feature = "shared_from_slice", since = "1.21.0")]
1476 impl<T> From<Vec<T>> for Arc<[T]> {
1477     #[inline]
1478     fn from(mut v: Vec<T>) -> Arc<[T]> {
1479         unsafe {
1480             let arc = Arc::copy_from_slice(&v);
1481
1482             // Allow the Vec to free its memory, but not destroy its contents
1483             v.set_len(0);
1484
1485             arc
1486         }
1487     }
1488 }
1489
1490 #[cfg(test)]
1491 mod tests {
1492     use std::boxed::Box;
1493     use std::clone::Clone;
1494     use std::sync::mpsc::channel;
1495     use std::mem::drop;
1496     use std::ops::Drop;
1497     use std::option::Option;
1498     use std::option::Option::{None, Some};
1499     use std::sync::atomic;
1500     use std::sync::atomic::Ordering::{Acquire, SeqCst};
1501     use std::thread;
1502     use std::sync::Mutex;
1503     use std::convert::From;
1504
1505     use super::{Arc, Weak};
1506     use vec::Vec;
1507
1508     struct Canary(*mut atomic::AtomicUsize);
1509
1510     impl Drop for Canary {
1511         fn drop(&mut self) {
1512             unsafe {
1513                 match *self {
1514                     Canary(c) => {
1515                         (*c).fetch_add(1, SeqCst);
1516                     }
1517                 }
1518             }
1519         }
1520     }
1521
1522     #[test]
1523     #[cfg_attr(target_os = "emscripten", ignore)]
1524     fn manually_share_arc() {
1525         let v = vec![1, 2, 3, 4, 5, 6, 7, 8, 9, 10];
1526         let arc_v = Arc::new(v);
1527
1528         let (tx, rx) = channel();
1529
1530         let _t = thread::spawn(move || {
1531             let arc_v: Arc<Vec<i32>> = rx.recv().unwrap();
1532             assert_eq!((*arc_v)[3], 4);
1533         });
1534
1535         tx.send(arc_v.clone()).unwrap();
1536
1537         assert_eq!((*arc_v)[2], 3);
1538         assert_eq!((*arc_v)[4], 5);
1539     }
1540
1541     #[test]
1542     fn test_arc_get_mut() {
1543         let mut x = Arc::new(3);
1544         *Arc::get_mut(&mut x).unwrap() = 4;
1545         assert_eq!(*x, 4);
1546         let y = x.clone();
1547         assert!(Arc::get_mut(&mut x).is_none());
1548         drop(y);
1549         assert!(Arc::get_mut(&mut x).is_some());
1550         let _w = Arc::downgrade(&x);
1551         assert!(Arc::get_mut(&mut x).is_none());
1552     }
1553
1554     #[test]
1555     fn try_unwrap() {
1556         let x = Arc::new(3);
1557         assert_eq!(Arc::try_unwrap(x), Ok(3));
1558         let x = Arc::new(4);
1559         let _y = x.clone();
1560         assert_eq!(Arc::try_unwrap(x), Err(Arc::new(4)));
1561         let x = Arc::new(5);
1562         let _w = Arc::downgrade(&x);
1563         assert_eq!(Arc::try_unwrap(x), Ok(5));
1564     }
1565
1566     #[test]
1567     fn into_from_raw() {
1568         let x = Arc::new(box "hello");
1569         let y = x.clone();
1570
1571         let x_ptr = Arc::into_raw(x);
1572         drop(y);
1573         unsafe {
1574             assert_eq!(**x_ptr, "hello");
1575
1576             let x = Arc::from_raw(x_ptr);
1577             assert_eq!(**x, "hello");
1578
1579             assert_eq!(Arc::try_unwrap(x).map(|x| *x), Ok("hello"));
1580         }
1581     }
1582
1583     #[test]
1584     fn test_into_from_raw_unsized() {
1585         use std::fmt::Display;
1586         use std::string::ToString;
1587
1588         let arc: Arc<str> = Arc::from("foo");
1589
1590         let ptr = Arc::into_raw(arc.clone());
1591         let arc2 = unsafe { Arc::from_raw(ptr) };
1592
1593         assert_eq!(unsafe { &*ptr }, "foo");
1594         assert_eq!(arc, arc2);
1595
1596         let arc: Arc<dyn Display> = Arc::new(123);
1597
1598         let ptr = Arc::into_raw(arc.clone());
1599         let arc2 = unsafe { Arc::from_raw(ptr) };
1600
1601         assert_eq!(unsafe { &*ptr }.to_string(), "123");
1602         assert_eq!(arc2.to_string(), "123");
1603     }
1604
1605     #[test]
1606     fn test_cowarc_clone_make_mut() {
1607         let mut cow0 = Arc::new(75);
1608         let mut cow1 = cow0.clone();
1609         let mut cow2 = cow1.clone();
1610
1611         assert!(75 == *Arc::make_mut(&mut cow0));
1612         assert!(75 == *Arc::make_mut(&mut cow1));
1613         assert!(75 == *Arc::make_mut(&mut cow2));
1614
1615         *Arc::make_mut(&mut cow0) += 1;
1616         *Arc::make_mut(&mut cow1) += 2;
1617         *Arc::make_mut(&mut cow2) += 3;
1618
1619         assert!(76 == *cow0);
1620         assert!(77 == *cow1);
1621         assert!(78 == *cow2);
1622
1623         // none should point to the same backing memory
1624         assert!(*cow0 != *cow1);
1625         assert!(*cow0 != *cow2);
1626         assert!(*cow1 != *cow2);
1627     }
1628
1629     #[test]
1630     fn test_cowarc_clone_unique2() {
1631         let mut cow0 = Arc::new(75);
1632         let cow1 = cow0.clone();
1633         let cow2 = cow1.clone();
1634
1635         assert!(75 == *cow0);
1636         assert!(75 == *cow1);
1637         assert!(75 == *cow2);
1638
1639         *Arc::make_mut(&mut cow0) += 1;
1640         assert!(76 == *cow0);
1641         assert!(75 == *cow1);
1642         assert!(75 == *cow2);
1643
1644         // cow1 and cow2 should share the same contents
1645         // cow0 should have a unique reference
1646         assert!(*cow0 != *cow1);
1647         assert!(*cow0 != *cow2);
1648         assert!(*cow1 == *cow2);
1649     }
1650
1651     #[test]
1652     fn test_cowarc_clone_weak() {
1653         let mut cow0 = Arc::new(75);
1654         let cow1_weak = Arc::downgrade(&cow0);
1655
1656         assert!(75 == *cow0);
1657         assert!(75 == *cow1_weak.upgrade().unwrap());
1658
1659         *Arc::make_mut(&mut cow0) += 1;
1660
1661         assert!(76 == *cow0);
1662         assert!(cow1_weak.upgrade().is_none());
1663     }
1664
1665     #[test]
1666     fn test_live() {
1667         let x = Arc::new(5);
1668         let y = Arc::downgrade(&x);
1669         assert!(y.upgrade().is_some());
1670     }
1671
1672     #[test]
1673     fn test_dead() {
1674         let x = Arc::new(5);
1675         let y = Arc::downgrade(&x);
1676         drop(x);
1677         assert!(y.upgrade().is_none());
1678     }
1679
1680     #[test]
1681     fn weak_self_cyclic() {
1682         struct Cycle {
1683             x: Mutex<Option<Weak<Cycle>>>,
1684         }
1685
1686         let a = Arc::new(Cycle { x: Mutex::new(None) });
1687         let b = Arc::downgrade(&a.clone());
1688         *a.x.lock().unwrap() = Some(b);
1689
1690         // hopefully we don't double-free (or leak)...
1691     }
1692
1693     #[test]
1694     fn drop_arc() {
1695         let mut canary = atomic::AtomicUsize::new(0);
1696         let x = Arc::new(Canary(&mut canary as *mut atomic::AtomicUsize));
1697         drop(x);
1698         assert!(canary.load(Acquire) == 1);
1699     }
1700
1701     #[test]
1702     fn drop_arc_weak() {
1703         let mut canary = atomic::AtomicUsize::new(0);
1704         let arc = Arc::new(Canary(&mut canary as *mut atomic::AtomicUsize));
1705         let arc_weak = Arc::downgrade(&arc);
1706         assert!(canary.load(Acquire) == 0);
1707         drop(arc);
1708         assert!(canary.load(Acquire) == 1);
1709         drop(arc_weak);
1710     }
1711
1712     #[test]
1713     fn test_strong_count() {
1714         let a = Arc::new(0);
1715         assert!(Arc::strong_count(&a) == 1);
1716         let w = Arc::downgrade(&a);
1717         assert!(Arc::strong_count(&a) == 1);
1718         let b = w.upgrade().expect("");
1719         assert!(Arc::strong_count(&b) == 2);
1720         assert!(Arc::strong_count(&a) == 2);
1721         drop(w);
1722         drop(a);
1723         assert!(Arc::strong_count(&b) == 1);
1724         let c = b.clone();
1725         assert!(Arc::strong_count(&b) == 2);
1726         assert!(Arc::strong_count(&c) == 2);
1727     }
1728
1729     #[test]
1730     fn test_weak_count() {
1731         let a = Arc::new(0);
1732         assert!(Arc::strong_count(&a) == 1);
1733         assert!(Arc::weak_count(&a) == 0);
1734         let w = Arc::downgrade(&a);
1735         assert!(Arc::strong_count(&a) == 1);
1736         assert!(Arc::weak_count(&a) == 1);
1737         let x = w.clone();
1738         assert!(Arc::weak_count(&a) == 2);
1739         drop(w);
1740         drop(x);
1741         assert!(Arc::strong_count(&a) == 1);
1742         assert!(Arc::weak_count(&a) == 0);
1743         let c = a.clone();
1744         assert!(Arc::strong_count(&a) == 2);
1745         assert!(Arc::weak_count(&a) == 0);
1746         let d = Arc::downgrade(&c);
1747         assert!(Arc::weak_count(&c) == 1);
1748         assert!(Arc::strong_count(&c) == 2);
1749
1750         drop(a);
1751         drop(c);
1752         drop(d);
1753     }
1754
1755     #[test]
1756     fn show_arc() {
1757         let a = Arc::new(5);
1758         assert_eq!(format!("{:?}", a), "5");
1759     }
1760
1761     // Make sure deriving works with Arc<T>
1762     #[derive(Eq, Ord, PartialEq, PartialOrd, Clone, Debug, Default)]
1763     struct Foo {
1764         inner: Arc<i32>,
1765     }
1766
1767     #[test]
1768     fn test_unsized() {
1769         let x: Arc<[i32]> = Arc::new([1, 2, 3]);
1770         assert_eq!(format!("{:?}", x), "[1, 2, 3]");
1771         let y = Arc::downgrade(&x.clone());
1772         drop(x);
1773         assert!(y.upgrade().is_none());
1774     }
1775
1776     #[test]
1777     fn test_from_owned() {
1778         let foo = 123;
1779         let foo_arc = Arc::from(foo);
1780         assert!(123 == *foo_arc);
1781     }
1782
1783     #[test]
1784     fn test_new_weak() {
1785         let foo: Weak<usize> = Weak::new();
1786         assert!(foo.upgrade().is_none());
1787     }
1788
1789     #[test]
1790     fn test_ptr_eq() {
1791         let five = Arc::new(5);
1792         let same_five = five.clone();
1793         let other_five = Arc::new(5);
1794
1795         assert!(Arc::ptr_eq(&five, &same_five));
1796         assert!(!Arc::ptr_eq(&five, &other_five));
1797     }
1798
1799     #[test]
1800     #[cfg_attr(target_os = "emscripten", ignore)]
1801     fn test_weak_count_locked() {
1802         let mut a = Arc::new(atomic::AtomicBool::new(false));
1803         let a2 = a.clone();
1804         let t = thread::spawn(move || {
1805             for _i in 0..1000000 {
1806                 Arc::get_mut(&mut a);
1807             }
1808             a.store(true, SeqCst);
1809         });
1810
1811         while !a2.load(SeqCst) {
1812             let n = Arc::weak_count(&a2);
1813             assert!(n < 2, "bad weak count: {}", n);
1814         }
1815         t.join().unwrap();
1816     }
1817
1818     #[test]
1819     fn test_from_str() {
1820         let r: Arc<str> = Arc::from("foo");
1821
1822         assert_eq!(&r[..], "foo");
1823     }
1824
1825     #[test]
1826     fn test_copy_from_slice() {
1827         let s: &[u32] = &[1, 2, 3];
1828         let r: Arc<[u32]> = Arc::from(s);
1829
1830         assert_eq!(&r[..], [1, 2, 3]);
1831     }
1832
1833     #[test]
1834     fn test_clone_from_slice() {
1835         #[derive(Clone, Debug, Eq, PartialEq)]
1836         struct X(u32);
1837
1838         let s: &[X] = &[X(1), X(2), X(3)];
1839         let r: Arc<[X]> = Arc::from(s);
1840
1841         assert_eq!(&r[..], s);
1842     }
1843
1844     #[test]
1845     #[should_panic]
1846     fn test_clone_from_slice_panic() {
1847         use std::string::{String, ToString};
1848
1849         struct Fail(u32, String);
1850
1851         impl Clone for Fail {
1852             fn clone(&self) -> Fail {
1853                 if self.0 == 2 {
1854                     panic!();
1855                 }
1856                 Fail(self.0, self.1.clone())
1857             }
1858         }
1859
1860         let s: &[Fail] = &[
1861             Fail(0, "foo".to_string()),
1862             Fail(1, "bar".to_string()),
1863             Fail(2, "baz".to_string()),
1864         ];
1865
1866         // Should panic, but not cause memory corruption
1867         let _r: Arc<[Fail]> = Arc::from(s);
1868     }
1869
1870     #[test]
1871     fn test_from_box() {
1872         let b: Box<u32> = box 123;
1873         let r: Arc<u32> = Arc::from(b);
1874
1875         assert_eq!(*r, 123);
1876     }
1877
1878     #[test]
1879     fn test_from_box_str() {
1880         use std::string::String;
1881
1882         let s = String::from("foo").into_boxed_str();
1883         let r: Arc<str> = Arc::from(s);
1884
1885         assert_eq!(&r[..], "foo");
1886     }
1887
1888     #[test]
1889     fn test_from_box_slice() {
1890         let s = vec![1, 2, 3].into_boxed_slice();
1891         let r: Arc<[u32]> = Arc::from(s);
1892
1893         assert_eq!(&r[..], [1, 2, 3]);
1894     }
1895
1896     #[test]
1897     fn test_from_box_trait() {
1898         use std::fmt::Display;
1899         use std::string::ToString;
1900
1901         let b: Box<dyn Display> = box 123;
1902         let r: Arc<dyn Display> = Arc::from(b);
1903
1904         assert_eq!(r.to_string(), "123");
1905     }
1906
1907     #[test]
1908     fn test_from_box_trait_zero_sized() {
1909         use std::fmt::Debug;
1910
1911         let b: Box<dyn Debug> = box ();
1912         let r: Arc<dyn Debug> = Arc::from(b);
1913
1914         assert_eq!(format!("{:?}", r), "()");
1915     }
1916
1917     #[test]
1918     fn test_from_vec() {
1919         let v = vec![1, 2, 3];
1920         let r: Arc<[u32]> = Arc::from(v);
1921
1922         assert_eq!(&r[..], [1, 2, 3]);
1923     }
1924
1925     #[test]
1926     fn test_downcast() {
1927         use std::any::Any;
1928
1929         let r1: Arc<dyn Any + Send + Sync> = Arc::new(i32::max_value());
1930         let r2: Arc<dyn Any + Send + Sync> = Arc::new("abc");
1931
1932         assert!(r1.clone().downcast::<u32>().is_err());
1933
1934         let r1i32 = r1.downcast::<i32>();
1935         assert!(r1i32.is_ok());
1936         assert_eq!(r1i32.unwrap(), Arc::new(i32::max_value()));
1937
1938         assert!(r2.clone().downcast::<i32>().is_err());
1939
1940         let r2str = r2.downcast::<&'static str>();
1941         assert!(r2str.is_ok());
1942         assert_eq!(r2str.unwrap(), Arc::new("abc"));
1943     }
1944 }
1945
1946 #[stable(feature = "rust1", since = "1.0.0")]
1947 impl<T: ?Sized> borrow::Borrow<T> for Arc<T> {
1948     fn borrow(&self) -> &T {
1949         &**self
1950     }
1951 }
1952
1953 #[stable(since = "1.5.0", feature = "smart_ptr_as_ref")]
1954 impl<T: ?Sized> AsRef<T> for Arc<T> {
1955     fn as_ref(&self) -> &T {
1956         &**self
1957     }
1958 }
1959
1960 #[unstable(feature = "pin", issue = "49150")]
1961 impl<T: ?Sized> Unpin for Arc<T> { }