mk/rt.mk

   1 # Copyright 2014 The Rust Project Developers. See the COPYRIGHT
   2 # file at the top-level directory of this distribution and at
   3 # http://rust-lang.org/COPYRIGHT.
   4 #
   5 # Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 # http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 # <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 # option. This file may not be copied, modified, or distributed
   9 # except according to those terms.
  10
  11 ################################################################################
  12 # Native libraries built as part of the rust build process
  13 #
  14 # This portion of the rust build system is meant to keep track of native
  15 # dependencies and how to build them. It is currently required that all native
  16 # dependencies are built as static libraries, as slinging around dynamic
  17 # libraries isn't exactly the most fun thing to do.
  18 #
  19 # This section should need minimal modification to add new libraries. The
  20 # relevant variables are:
  21 #
  22 #   NATIVE_LIBS
  23 #       This is a list of all native libraries which are built as part of the
  24 #       build process. It will build all libraries into RT_OUTPUT_DIR with the
  25 #       appropriate name of static library as dictated by the target platform
  26 #
  27 #   NATIVE_DEPS_<lib>
  28 #       This is a list of files relative to the src/rt directory which are
  29 #       needed to build the native library. Each file will be compiled to an
  30 #       object file, and then all the object files will be assembled into an
  31 #       archive (static library). The list contains files of any extension
  32 #
  33 # If adding a new library, you should update the NATIVE_LIBS list, and then list
  34 # the required files below it. The list of required files is a list of files
  35 # that's per-target so you're allowed to conditionally add files based on the
  36 # target.
  37 ################################################################################
  38 NATIVE_LIBS := hoedown miniz rust_test_helpers
  39
  40 # $(1) is the target triple
  41 define NATIVE_LIBRARIES
  42
  43 NATIVE_DEPS_hoedown_$(1) := hoedown/src/autolink.c \
  44                         hoedown/src/buffer.c \
  45                         hoedown/src/document.c \
  46                         hoedown/src/escape.c \
  47                         hoedown/src/html.c \
  48                         hoedown/src/html_blocks.c \
  49                         hoedown/src/html_smartypants.c \
  50                         hoedown/src/stack.c \
  51                         hoedown/src/version.c
  52 NATIVE_DEPS_miniz_$(1) = miniz.c
  53 NATIVE_DEPS_rust_test_helpers_$(1) := rust_test_helpers.c
  54
  55 ################################################################################
  56 # You shouldn't find it that necessary to edit anything below this line.
  57 ################################################################################
  58
  59 # While we're defining the native libraries for each target, we define some
  60 # common rules used to build files for various targets.
  61
  62 RT_OUTPUT_DIR_$(1) := $(1)/rt
  63
  64 $$(RT_OUTPUT_DIR_$(1))/%.o: $(S)src/rt/%.c $$(MKFILE_DEPS)
  65         @mkdir -p $$(@D)
  66         @$$(call E, compile: $$@)
  67         $$(Q)$$(call CFG_COMPILE_C_$(1), $$@, \
  68                 $$(call CFG_CC_INCLUDE_$(1),$$(S)src/rt/hoedown/src) \
  69                 $$(call CFG_CC_INCLUDE_$(1),$$(S)src/rt) \
  70                  $$(RUNTIME_CFLAGS_$(1))) $$<
  71
  72 $$(RT_OUTPUT_DIR_$(1))/%.o: $(S)src/rt/%.S $$(MKFILE_DEPS) \
  73             $$(LLVM_CONFIG_$$(CFG_BUILD))
  74         @mkdir -p $$(@D)
  75         @$$(call E, compile: $$@)
  76         $$(Q)$$(call CFG_ASSEMBLE_$(1),$$@,$$<)
  77
  78 # On MSVC targets the compiler's default include path (e.g. where to find system
  79 # headers) is specified by the INCLUDE environment variable. This may not be set
  80 # so the ./configure script scraped the relevant values and this is the location
  81 # that we put them into cl.exe's environment.
  82 ifeq ($$(findstring msvc,$(1)),msvc)
  83 $$(RT_OUTPUT_DIR_$(1))/%.o: \
  84         export INCLUDE := $$(CFG_MSVC_INCLUDE_PATH_$$(HOST_$(1)))
  85 $(1)/rustllvm/%.o: \
  86         export INCLUDE := $$(CFG_MSVC_INCLUDE_PATH_$$(HOST_$(1)))
  87 endif
  88 endef
  89
  90 $(foreach target,$(CFG_TARGET),$(eval $(call NATIVE_LIBRARIES,$(target))))
  91
  92 # A macro for devining how to build third party libraries listed above (based
  93 # on their dependencies).
  94 #
  95 # $(1) is the target
  96 # $(2) is the lib name
  97 define THIRD_PARTY_LIB
  98
  99 OBJS_$(2)_$(1) := $$(NATIVE_DEPS_$(2)_$(1):%=$$(RT_OUTPUT_DIR_$(1))/%)
 100 OBJS_$(2)_$(1) := $$(OBJS_$(2)_$(1):.c=.o)
 101 OBJS_$(2)_$(1) := $$(OBJS_$(2)_$(1):.cpp=.o)
 102 OBJS_$(2)_$(1) := $$(OBJS_$(2)_$(1):.S=.o)
 103 NATIVE_$(2)_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),$(2))
 104 $$(RT_OUTPUT_DIR_$(1))/$$(NATIVE_$(2)_$(1)): $$(OBJS_$(2)_$(1))
 105         @$$(call E, link: $$@)
 106         $$(Q)$$(call CFG_CREATE_ARCHIVE_$(1),$$@) $$^
 107
 108 endef
 109
 110 $(foreach target,$(CFG_TARGET), \
 111  $(eval $(call RUNTIME_RULES,$(target))))
 112 $(foreach lib,$(NATIVE_LIBS), \
 113  $(foreach target,$(CFG_TARGET), \
 114   $(eval $(call THIRD_PARTY_LIB,$(target),$(lib)))))
 115
 116
 117 ################################################################################
 118 # Building third-party targets with external build systems
 119 #
 120 # This location is meant for dependencies which have external build systems. It
 121 # is still assumed that the output of each of these steps is a static library
 122 # in the correct location.
 123 ################################################################################
 124
 125 define DEF_THIRD_PARTY_TARGETS
 126
 127 # $(1) is the target triple
 128
 129 ifeq ($$(CFG_WINDOWSY_$(1)),1)
 130   # A bit of history here, this used to be --enable-lazy-lock added in #14006
 131   # which was filed with jemalloc in jemalloc/jemalloc#83 which was also
 132   # reported to MinGW: http://sourceforge.net/p/mingw-w64/bugs/395/
 133   #
 134   # When updating jemalloc to 4.0, however, it was found that binaries would
 135   # exit with the status code STATUS_RESOURCE_NOT_OWNED indicating that a thread
 136   # was unlocking a mutex it never locked. Disabling this "lazy lock" option
 137   # seems to fix the issue, but it was enabled by default for MinGW targets in
 138   # 13473c7 for jemalloc.
 139   #
 140   # As a result of all that, force disabling lazy lock on Windows, and after
 141   # reading some code it at least *appears* that the initialization of mutexes
 142   # is otherwise ok in jemalloc, so shouldn't cause problems hopefully...
 143   #
 144   # tl;dr: make windows behave like other platforms by disabling lazy locking,
 145   #        but requires passing an option due to a historical default with
 146   #        jemalloc.
 147   JEMALLOC_ARGS_$(1) := --disable-lazy-lock
 148 else ifeq ($(OSTYPE_$(1)), apple-ios)
 149   JEMALLOC_ARGS_$(1) := --disable-tls
 150 else ifeq ($(findstring android, $(OSTYPE_$(1))), android)
 151   # We force android to have prefixed symbols because apparently replacement of
 152   # the libc allocator doesn't quite work. When this was tested (unprefixed
 153   # symbols), it was found that the `realpath` function in libc would allocate
 154   # with libc malloc (not jemalloc malloc), and then the standard library would
 155   # free with jemalloc free, causing a segfault.
 156   #
 157   # If the test suite passes, however, without symbol prefixes then we should be
 158   # good to go!
 159   JEMALLOC_ARGS_$(1) := --disable-tls --with-jemalloc-prefix=je_
 160 endif
 161
 162 ifdef CFG_ENABLE_DEBUG_JEMALLOC
 163   JEMALLOC_ARGS_$(1) += --enable-debug --enable-fill
 164 endif
 165
 166 ################################################################################
 167 # jemalloc
 168 ################################################################################
 169
 170 ifdef CFG_ENABLE_FAST_MAKE
 171 JEMALLOC_DEPS := $(S)/.gitmodules
 172 else
 173 JEMALLOC_DEPS := $(wildcard \
 174                    $(S)src/jemalloc/* \
 175                    $(S)src/jemalloc/*/* \
 176                    $(S)src/jemalloc/*/*/* \
 177                    $(S)src/jemalloc/*/*/*/*)
 178 endif
 179
 180 # See #17183 for details, this file is touched during the build process so we
 181 # don't want to consider it as a dependency.
 182 JEMALLOC_DEPS := $(filter-out $(S)src/jemalloc/VERSION,$(JEMALLOC_DEPS))
 183
 184 JEMALLOC_NAME_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),jemalloc)
 185 ifeq ($$(CFG_WINDOWSY_$(1)),1)
 186   JEMALLOC_REAL_NAME_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),jemalloc_s)
 187 else
 188   JEMALLOC_REAL_NAME_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),jemalloc_pic)
 189 endif
 190 JEMALLOC_LIB_$(1) := $$(RT_OUTPUT_DIR_$(1))/$$(JEMALLOC_NAME_$(1))
 191 JEMALLOC_BUILD_DIR_$(1) := $$(RT_OUTPUT_DIR_$(1))/jemalloc
 192 JEMALLOC_LOCAL_$(1) := $$(JEMALLOC_BUILD_DIR_$(1))/lib/$$(JEMALLOC_REAL_NAME_$(1))
 193
 194 $$(JEMALLOC_LOCAL_$(1)): $$(JEMALLOC_DEPS) $$(MKFILE_DEPS)
 195         @$$(call E, make: jemalloc)
 196         cd "$$(JEMALLOC_BUILD_DIR_$(1))"; "$(S)src/jemalloc/configure" \
 197                 $$(JEMALLOC_ARGS_$(1)) $(CFG_JEMALLOC_FLAGS) \
 198                 --build=$$(CFG_GNU_TRIPLE_$(CFG_BUILD)) --host=$$(CFG_GNU_TRIPLE_$(1)) \
 199                 CC="$$(CC_$(1)) $$(CFG_JEMALLOC_CFLAGS_$(1))" \
 200                 AR="$$(AR_$(1))" \
 201                 RANLIB="$$(AR_$(1)) s" \
 202                 CPPFLAGS="-I $(S)src/rt/" \
 203                 EXTRA_CFLAGS="-g1 -ffunction-sections -fdata-sections"
 204         $$(Q)$$(MAKE) -C "$$(JEMALLOC_BUILD_DIR_$(1))" build_lib_static
 205
 206 ifeq ($(1),$$(CFG_BUILD))
 207 ifneq ($$(CFG_JEMALLOC_ROOT),)
 208 $$(JEMALLOC_LIB_$(1)): $$(CFG_JEMALLOC_ROOT)/libjemalloc_pic.a
 209         @$$(call E, copy: jemalloc)
 210         $$(Q)cp $$< $$@
 211 else
 212 $$(JEMALLOC_LIB_$(1)): $$(JEMALLOC_LOCAL_$(1))
 213         $$(Q)cp $$< $$@
 214 endif
 215 else
 216 $$(JEMALLOC_LIB_$(1)): $$(JEMALLOC_LOCAL_$(1))
 217         $$(Q)cp $$< $$@
 218 endif
 219
 220 ################################################################################
 221 # compiler-rt
 222 ################################################################################
 223
 224 ifdef CFG_ENABLE_FAST_MAKE
 225 COMPRT_DEPS := $(S)/.gitmodules
 226 else
 227 COMPRT_DEPS := $(wildcard \
 228               $(S)src/compiler-rt/* \
 229               $(S)src/compiler-rt/*/* \
 230               $(S)src/compiler-rt/*/*/* \
 231               $(S)src/compiler-rt/*/*/*/*)
 232 endif
 233
 234 COMPRT_NAME_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),compiler-rt)
 235 COMPRT_LIB_$(1) := $$(RT_OUTPUT_DIR_$(1))/$$(COMPRT_NAME_$(1))
 236 COMPRT_BUILD_DIR_$(1) := $$(RT_OUTPUT_DIR_$(1))/compiler-rt
 237
 238 ifeq ($$(findstring msvc,$(1)),msvc)
 239 $$(COMPRT_LIB_$(1)): $$(COMPRT_DEPS) $$(MKFILE_DEPS) $$(LLVM_CONFIG_$(1))
 240         @$$(call E, cmake: compiler-rt)
 241         $$(Q)cd "$$(COMPRT_BUILD_DIR_$(1))"; $$(CFG_CMAKE) "$(S)src/compiler-rt" \
 242                 -DCMAKE_BUILD_TYPE=$$(LLVM_BUILD_CONFIG_MODE) \
 243                 -DLLVM_CONFIG_PATH=$$(LLVM_CONFIG_$(1)) \
 244                 -G"$$(CFG_CMAKE_GENERATOR)"
 245         $$(Q)$$(CFG_CMAKE) --build "$$(COMPRT_BUILD_DIR_$(1))" \
 246                 --target lib/builtins/builtins \
 247                 --config $$(LLVM_BUILD_CONFIG_MODE) \
 248                 -- //v:m //nologo
 249         $$(Q)cp $$(COMPRT_BUILD_DIR_$(1))/lib/windows/$$(LLVM_BUILD_CONFIG_MODE)/clang_rt.builtins-$$(HOST_$(1)).lib $$@
 250 else
 251 COMPRT_CC_$(1) := $$(CC_$(1))
 252 COMPRT_AR_$(1) := $$(AR_$(1))
 253 # We chomp -Werror here because GCC warns about the type signature of
 254 # builtins not matching its own and the build fails. It's a bit hacky,
 255 # but what can we do, we're building libclang-rt using GCC ......
 256 COMPRT_CFLAGS_$(1) := $$(CFG_GCCISH_CFLAGS_$(1)) -Wno-error -std=c99
 257
 258 # FreeBSD Clang's packaging is problematic; it doesn't copy unwind.h to
 259 # the standard include directory. This should really be in our changes to
 260 # compiler-rt, but we override the CFLAGS here so there isn't much choice
 261 ifeq ($$(findstring freebsd,$(1)),freebsd)
 262         COMPRT_CFLAGS_$(1) += -I/usr/include/c++/v1
 263 endif
 264
 265 ifeq ($$(findstring emscripten,$(1)),emscripten)
 266
 267 # FIXME: emscripten doesn't use compiler-rt and can't build it without
 268 # further hacks
 269 $$(COMPRT_LIB_$(1)):
 270         touch $$@
 271
 272 else
 273
 274 $$(COMPRT_LIB_$(1)): $$(COMPRT_DEPS) $$(MKFILE_DEPS)
 275         @$$(call E, make: compiler-rt)
 276         $$(Q)$$(MAKE) -C "$(S)src/compiler-rt" \
 277                 ProjSrcRoot="$(S)src/compiler-rt" \
 278                 ProjObjRoot="$$(abspath $$(COMPRT_BUILD_DIR_$(1)))" \
 279                 CC='$$(COMPRT_CC_$(1))' \
 280                 AR='$$(COMPRT_AR_$(1))' \
 281                 RANLIB='$$(COMPRT_AR_$(1)) s' \
 282                 CFLAGS="$$(COMPRT_CFLAGS_$(1))" \
 283                 TargetTriple=$(1) \
 284                 triple-builtins
 285         $$(Q)cp $$(COMPRT_BUILD_DIR_$(1))/triple/builtins/libcompiler_rt.a $$@
 286
 287 endif # if emscripten
 288 endif
 289
 290 ################################################################################
 291 # libbacktrace
 292 #
 293 # We use libbacktrace on linux to get symbols in backtraces, but only on linux.
 294 # Elsewhere we use other system utilities, so this library is only built on
 295 # linux.
 296 ################################################################################
 297
 298 BACKTRACE_NAME_$(1) := $$(call CFG_STATIC_LIB_NAME_$(1),backtrace)
 299 BACKTRACE_LIB_$(1) := $$(RT_OUTPUT_DIR_$(1))/$$(BACKTRACE_NAME_$(1))
 300 BACKTRACE_BUILD_DIR_$(1) := $$(RT_OUTPUT_DIR_$(1))/libbacktrace
 301
 302 # We don't use this on platforms that aren't linux-based (with the exception of
 303 # msys2/mingw builds on windows, which use it to read the dwarf debug
 304 # information) so just make the file available, the compilation of libstd won't
 305 # actually build it.
 306 ifeq ($$(findstring darwin,$$(OSTYPE_$(1))),darwin)
 307 # See comment above
 308 $$(BACKTRACE_LIB_$(1)):
 309         touch $$@
 310
 311 else
 312 ifeq ($$(findstring ios,$$(OSTYPE_$(1))),ios)
 313 # See comment above
 314 $$(BACKTRACE_LIB_$(1)):
 315         touch $$@
 316 else
 317
 318 ifeq ($$(findstring msvc,$(1)),msvc)
 319 # See comment above
 320 $$(BACKTRACE_LIB_$(1)):
 321         touch $$@
 322 else
 323
 324 ifeq ($$(findstring emscripten,$(1)),emscripten)
 325 # FIXME: libbacktrace doesn't understand the emscripten triple
 326 $$(BACKTRACE_LIB_$(1)):
 327         touch $$@
 328 else
 329
 330 ifdef CFG_ENABLE_FAST_MAKE
 331 BACKTRACE_DEPS := $(S)/.gitmodules
 332 else
 333 BACKTRACE_DEPS := $(wildcard $(S)src/libbacktrace/*)
 334 endif
 335
 336 # We need to export CFLAGS because otherwise it doesn't pick up cross compile
 337 # builds. If libbacktrace doesn't realize this, it will attempt to read 64-bit
 338 # elf headers when compiled for a 32-bit system, yielding blank backtraces.
 339 #
 340 # This also removes the -Werror flag specifically to prevent errors during
 341 # configuration.
 342 #
 343 # Down below you'll also see echos into the config.h generated by the
 344 # ./configure script. This is done to force libbacktrace to *not* use the
 345 # atomic/sync functionality because it pulls in unnecessary dependencies and we
 346 # never use it anyway.
 347 #
 348 # We also use `env PWD=` to clear the PWD environment variable, and then
 349 # execute the command in a new shell. This is necessary to workaround a
 350 # buildbot/msys2 bug: the shell is launched with PWD set to a windows-style path,
 351 # which results in all further uses of `pwd` also printing a windows-style path,
 352 # which breaks libbacktrace's configure script. Clearing PWD within the same
 353 # shell is not sufficient.
 354
 355 $$(BACKTRACE_BUILD_DIR_$(1))/Makefile: $$(BACKTRACE_DEPS) $$(MKFILE_DEPS)
 356         @$$(call E, configure: libbacktrace for $(1))
 357         $$(Q)rm -rf $$(BACKTRACE_BUILD_DIR_$(1))
 358         $$(Q)mkdir -p $$(BACKTRACE_BUILD_DIR_$(1))
 359         $$(Q)(cd $$(BACKTRACE_BUILD_DIR_$(1)) && env \
 360               PWD= \
 361               CC="$$(CC_$(1))" \
 362               AR="$$(AR_$(1))" \
 363               RANLIB="$$(AR_$(1)) s" \
 364               CFLAGS="$$(CFG_GCCISH_CFLAGS_$(1)) -Wno-error -fno-stack-protector" \
 365               $(S)src/libbacktrace/configure --build=$(CFG_GNU_TRIPLE_$(CFG_BUILD)) --host=$(CFG_GNU_TRIPLE_$(1)))
 366         $$(Q)echo '#undef HAVE_ATOMIC_FUNCTIONS' >> \
 367               $$(BACKTRACE_BUILD_DIR_$(1))/config.h
 368         $$(Q)echo '#undef HAVE_SYNC_FUNCTIONS' >> \
 369               $$(BACKTRACE_BUILD_DIR_$(1))/config.h
 370
 371 $$(BACKTRACE_LIB_$(1)): $$(BACKTRACE_BUILD_DIR_$(1))/Makefile $$(MKFILE_DEPS)
 372         @$$(call E, make: libbacktrace)
 373         $$(Q)$$(MAKE) -C $$(BACKTRACE_BUILD_DIR_$(1)) \
 374                 INCDIR=$(S)src/libbacktrace
 375         $$(Q)cp $$(BACKTRACE_BUILD_DIR_$(1))/.libs/libbacktrace.a $$@
 376
 377 endif # endif for emscripten
 378 endif # endif for msvc
 379 endif # endif for ios
 380 endif # endif for darwin
 381
 382 ################################################################################
 383 # libc/libunwind for musl
 384 #
 385 # When we're building a musl-like target we're going to link libc/libunwind
 386 # statically into the standard library and liblibc, so we need to make sure
 387 # they're in a location that we can find
 388 ################################################################################
 389
 390 ifeq ($$(findstring musl,$(1)),musl)
 391 $$(RT_OUTPUT_DIR_$(1))/%: $$(CFG_MUSL_ROOT)/lib/%
 392         cp $$^ $$@
 393 else
 394 # Ask gcc where it is
 395 $$(RT_OUTPUT_DIR_$(1))/%:
 396         cp $$(shell $$(CC_$(1)) -print-file-name=$$(@F)) $$@
 397 endif
 398
 399 endef
 400
 401 # Instantiate template for all stages/targets
 402 $(foreach target,$(CFG_TARGET), \
 403      $(eval $(call DEF_THIRD_PARTY_TARGETS,$(target))))