src/ci/run.sh

   1 #!/usr/bin/env bash
   2
   3 set -e
   4
   5 if [ -n "$CI_JOB_NAME" ]; then
   6   echo "[CI_JOB_NAME=$CI_JOB_NAME]"
   7 fi
   8
   9 if [ "$NO_CHANGE_USER" = "" ]; then
  10   if [ "$LOCAL_USER_ID" != "" ]; then
  11     useradd --shell /bin/bash -u $LOCAL_USER_ID -o -c "" -m user
  12     export HOME=/home/user
  13     unset LOCAL_USER_ID
  14     exec su --preserve-environment -c "env PATH=$PATH \"$0\"" user
  15   fi
  16 fi
  17
  18 # only enable core dump on Linux
  19 if [ -f /proc/sys/kernel/core_pattern ]; then
  20   ulimit -c unlimited
  21 fi
  22
  23 ci_dir=`cd $(dirname $0) && pwd`
  24 source "$ci_dir/shared.sh"
  25
  26 if command -v python > /dev/null; then
  27     PYTHON="python"
  28 elif command -v python3 > /dev/null; then
  29     PYTHON="python3"
  30 else
  31     PYTHON="python2"
  32 fi
  33
  34 if ! isCI || isCiBranch auto || isCiBranch beta; then
  35     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set build.print-step-timings --enable-verbose-tests"
  36 fi
  37
  38 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-sccache"
  39 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --disable-manage-submodules"
  40 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-locked-deps"
  41 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-cargo-native-static"
  42 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set rust.codegen-units-std=1"
  43
  44 if [ "$DIST_SRC" = "" ]; then
  45   RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --disable-dist-src"
  46 fi
  47
  48 # If we're deploying artifacts then we set the release channel, otherwise if
  49 # we're not deploying then we want to be sure to enable all assertions because
  50 # we'll be running tests
  51 #
  52 # FIXME: need a scheme for changing this `nightly` value to `beta` and `stable`
  53 #        either automatically or manually.
  54 export RUST_RELEASE_CHANNEL=nightly
  55
  56 # Always set the release channel for bootstrap; this is normally not important (i.e., only dist
  57 # builds would seem to matter) but in practice bootstrap wants to know whether we're targeting
  58 # master, beta, or stable with a build to determine whether to run some checks (notably toolstate).
  59 RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --release-channel=$RUST_RELEASE_CHANNEL"
  60
  61 if [ "$DEPLOY$DEPLOY_ALT" = "1" ]; then
  62   RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-llvm-static-stdcpp"
  63   RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set rust.remap-debuginfo"
  64   RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --debuginfo-level-std=1"
  65
  66   if [ "$NO_LLVM_ASSERTIONS" = "1" ]; then
  67     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --disable-llvm-assertions"
  68   elif [ "$DEPLOY_ALT" != "" ]; then
  69     if [ "$NO_PARALLEL_COMPILER" = "" ]; then
  70       RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set rust.parallel-compiler"
  71     fi
  72     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-llvm-assertions"
  73     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set rust.verify-llvm-ir"
  74   fi
  75 else
  76   # We almost always want debug assertions enabled, but sometimes this takes too
  77   # long for too little benefit, so we just turn them off.
  78   if [ "$NO_DEBUG_ASSERTIONS" = "" ]; then
  79     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-debug-assertions"
  80   fi
  81
  82   # In general we always want to run tests with LLVM assertions enabled, but not
  83   # all platforms currently support that, so we have an option to disable.
  84   if [ "$NO_LLVM_ASSERTIONS" = "" ]; then
  85     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-llvm-assertions"
  86   fi
  87
  88   RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --set rust.verify-llvm-ir"
  89 fi
  90
  91 if [ "$RUST_RELEASE_CHANNEL" = "nightly" ] || [ "$DIST_REQUIRE_ALL_TOOLS" = "" ]; then
  92     RUST_CONFIGURE_ARGS="$RUST_CONFIGURE_ARGS --enable-missing-tools"
  93 fi
  94
  95 # Print the date from the local machine and the date from an external source to
  96 # check for clock drifts. An HTTP URL is used instead of HTTPS since on Azure
  97 # Pipelines it happened that the certificates were marked as expired.
  98 datecheck() {
  99   echo "== clock drift check =="
 100   echo -n "  local time: "
 101   date
 102   echo -n "  network time: "
 103   curl -fs --head http://detectportal.firefox.com/success.txt | grep ^Date: \
 104       | sed 's/Date: //g' || true
 105   echo "== end clock drift check =="
 106 }
 107 datecheck
 108 trap datecheck EXIT
 109
 110 # We've had problems in the past of shell scripts leaking fds into the sccache
 111 # server (#48192) which causes Cargo to erroneously think that a build script
 112 # hasn't finished yet. Try to solve that problem by starting a very long-lived
 113 # sccache server at the start of the build, but no need to worry if this fails.
 114 SCCACHE_IDLE_TIMEOUT=10800 sccache --start-server || true
 115
 116 if [ "$RUN_CHECK_WITH_PARALLEL_QUERIES" != "" ]; then
 117   $SRC/configure --enable-parallel-compiler
 118   CARGO_INCREMENTAL=0 $PYTHON ../x.py check
 119   rm -f config.toml
 120   rm -rf build
 121 fi
 122
 123 $SRC/configure $RUST_CONFIGURE_ARGS
 124
 125 retry make prepare
 126
 127 make check-bootstrap
 128
 129 # Display the CPU and memory information. This helps us know why the CI timing
 130 # is fluctuating.
 131 if isMacOS; then
 132     system_profiler SPHardwareDataType || true
 133     sysctl hw || true
 134     ncpus=$(sysctl -n hw.ncpu)
 135 else
 136     cat /proc/cpuinfo || true
 137     cat /proc/meminfo || true
 138     ncpus=$(grep processor /proc/cpuinfo | wc -l)
 139 fi
 140
 141 if [ ! -z "$SCRIPT" ]; then
 142   sh -x -c "$SCRIPT"
 143 else
 144   do_make() {
 145     echo "make -j $ncpus $1"
 146     make -j $ncpus $1
 147     local retval=$?
 148     return $retval
 149   }
 150
 151   do_make "$RUST_CHECK_TARGET"
 152 fi
 153
 154 sccache --show-stats || true