kernel: fix multiple devproc bugs and pid reuse issues

devproc assumes that when we hold the Proc.debug qlock,
the process will be prevented from exiting. but there is
another race where the process has already exited and
the Proc* slot gets reused. to solve this, on process
creation we also have to acquire the debug qlock while
initializing the fields of the process. this also means
newproc() should only initialize fields *not* protected
by the debug qlock.

always acquire the Proc.debug qlock when changing strings
in the proc structure to avoid doublefree on concurrent
update. for changing the user string, we add a procsetuser()
function that does this for auth.c and devcap.

remove pgrpnote() from pgrp.c and replace by static
postnotepg() in devproc.

avoid the assumption that the Proc* entries returned by
proctab() are continuous.

fixed devproc permission issues:
- make sure only eve can access /proc/trace
- none should only be allowed to read its own /proc/n/text
- move Proc.kp checks into procopen()

pid reuse was not handled correctly, as we where only
checking if a pid had a living process, but there still
could be processes expecting a particular parentpid or
noteid.

this is now addressed with reference counted Pid
structures which are organized in a hash table.
read access to the hash table does not require locks
which will be usefull for dtracy later.

devswap: dont assume Proc* structures returned from proctab() are continuous

sdiahci, sdodin: avoid calling kproc() while holding ilock()

/sys/lib/kbmap: update 0xf860 to Kshift value, fix fake shifts on esc1

sed: allow whitespace after ! negation (thanks k0ga)

acme(1): fix scrolling when swiping text at the top or bottom of a frame

remove C99_SPRINTF_EXTENSION define.

It's been 20 years since c99 came out. By now, if code
hasn't been fixed, it's not going to be. Requiring this
define just confuses porters.

bcm: change ARGB32 to XRGB32 for framebuffer to avoid slow drawing

upas/fs plumb modify messages for self-changed flags

Currently upas/fs plumbs modify messages only if the flag
changes are made by another imap connection.  If the flag
changes are made within the running upas/fs no modify message
is plumbed.

This changes upas/fs to set the modify flag if we made the
change ourself. It also moves the flag setting before the
imap read, so that we don't clobber flag changes coming
from the imap server with our own flags.

(Thanks Tobias Heinicke)

image(6): fix typo

kernel: cleanup makefile for $CONF.$O target

merge

listen(1): implement one-shot mode flag for listen1 (thanks kivik)

fix double free in acme.

in acmerrorproc():
sendp(s);
free(s);

in waitthread():
recv(&err)
free(err)

We only want waitthread to free.

document common emulator keys

walk: add D and T fmt characters (fileserver device/type)

walk(1): formatting/corrections

walk: remove superfluous newline

kernel: restore old behaviour that kprocs have ther noteid == pid

kernel: fix mistake from previous commit (noteid not being inherited by default)

kernel: implement portable userinit() and simplify process creation

replace machine specific userinit() by a portable
implemntation that uses kproc() to create the first
process. the initcode text is mapped using kmap(),
so there is no need for machine specific tmpmap()
functions.

initcode stack preparation should be done in init0()
where the stack is mapped and can be accessed directly.

replacing the machine specific userinit() allows some
big simplifications as sysrfork() and kproc() are now
the only callers of newproc() and we can avoid initializing
fields that we know are being initialized by these
callers.

rename autogenerated init.h and reboot.h headers.
the initcode[] and rebootcode[] blobs are now in *.i
files and hex generation was moved to portmkfile. the
machine specific mkfile only needs to specify how to
build rebootcode.out and initcode.out.

ppc: remove old duplicate of devtls.c

add v8e

page(1): fix troff manual example

merge

Apply http://www.9paste.net/qrstuv/patch/acme-movetodelmesg/

merge

acme: fix off by one in colclose(), make dellist() code consistent

acme: Restore call to movetodel() in colclose

cycv: support for registers

cyclone v kernel: fpga support, fix CONFADDR

vnc/devdraw: fix topnwindows() panic when images are not windows (thanks aiju)

see changeset 319be6cfe7ef

devdraw: fix topnwindows() panic when images are not windows (thanks aiju)

Crashes drawterm and native:

#include <u.h>
#include <libc.h>
#include <draw.h>

void
main(int argc, char **argv)
{
  initdraw(nil, nil, nil);

  Image *a[] = {screen, display->black};

  topnwindows(a, nelem(a));
  flushimage(display, 1);
}

pc64: adapt vgaradeon driver to 64-bit (thanks Robert Ransom)

Not yet tested.

kernel: remove relics of CPU 'load balancing' policy in scheduler (thanks Robert Ransom)

This code was deleted from Plan 9 before the 9front repo began.
Proc.movetime was used by it, but has never been referenced in 9front.

bootrc: fix comment typo (thanks Robert Ransom)

ip/cifsd: implement SMB_SET_FILE_UNIX_BASIC for wstat

libFLAC: 1.3.1 -> 1.3.3

dont spin on MDIO

merge

add cycv ethernet driver

show line numbers in dtracy type errors

add cycv kernel

dumb bug

add aux/aout2uimage

rc-httpd: append carriage return to content-length header

devip: fix packet loss when interface is wlocked

to prevent deadlock on media unbind (which is called with
the interface wlock()'ed), the medias reader processes
that unbind was waiting for used to discard packets when
the interface could not be rlocked.

this has the unfortunate side effect that when we change
addresses on a interface that packets are getting lost.
this is problematic for the processing of ipv6 router
advertisements when multiple RA's are getting received
in quick succession.

this change removes that packet dropping behaviour and
instead changes the unbind process to avoid the deadlock
by wunlock()ing the interface temporarily while waiting
for the reader processes to finish. the interface media
is also changed to the mullmedium before unlocking (see
the comment).

/sys/man/9: more pages added

in addition to the pages, there's also changes to the mkfile
to generate the index for the new section.

ip/ipconfig: keep on sending router solicitation after initial RA

avm fritzbox uses very long RA period so it effectively only
responds after a router solicitation. when there are multiple
fritzbox routers on the lan, then while configuring one prefix
of the first RA, the ip stack can drop the second router
advertisement and we would never get the second route.

packets can always get lost. so we just keep on sending router
solicitations (up to 3 times) to make sure we got all the RA's.

rio, kbdfs: increase read buffer for high latency kbdfs support

9p(2): fix sentence for wstat function (thanks jsmoody)

sleep(9): recover comment with the right reference

kproc(9) and sleep(9) corrections

thread(2): fix description of when/why procexec(l) functions return

pc, pc64: fix cputemp decimal handling in amd10temprd (thanks Robert Ransom)

flate(2): fix typos (thanks rgl)

ip(3): document special null-address hack for accepting all incoming connections

date: make ISO 8601 time output compatible to RFC3339

RFC3339 is a stricter subset of ISO 8601, in particular
the timezone offset needs to be specified as +HH:MM while
in ISO 8601 the colon is optional.

normalize error messages in yacc, stop writing to closed fd.

merge

devcons: fix write length of writebintime() (thanks BurnZeZ)

remove unused code.

only ensurecache() on doplumb().

merge

crop(1): remove duplicate -b option in synopsis

upas/fs plumb flag changes.

This patch makes 3 changes:

- It makes upas/fs send plumb messages when a message
  changes in the background (eg, someone on another imap
  connection opens a message and sets the read flag)
- It makes faces not complain when it gets one of these
  new modify messages.
- It makes acme/Mail update the flags in the display
  when it gets one of these messages.

riostart: when system uses serial console, provide a system shell on it

on systems with serial console and graphics such as the raspberry pi,
it is nice to get a system shell on the serial console even when no
monitor is connected.

console(8): add console command and manpage

the console command runs a command or the system shell under
a new instance of kbdfs, optionally providing a serial console
when $console environment variable is set.

merge

hgfs: fix loadrevinfo() breakage on long lines using libbio (thanks deuterion)

hack around timezone issues.

merge

fix filetype detecton by suffix so that multiple dots dont confuse it. (thanks kvik)

pc: replace duplicated and broken mmu flush code in vunmap()

comparing m with MACHP() is wrong as m is a constant on 386.

add procflushothers(), which flushes all processes except up
using common procflushmmu() routine.

kernel: avoid useless mmu flushes, implement better wait condition for procflushmmu()

procflushmmu() returns once all *OTHER* processors that had
matching processes running on them flushed ther tlb/mmu state.
the caller of procflush...() takes care of flushing "up" by
calling flushmmu() later.

if the current process matched, then that means m->flushmmu
would be set, and hzclock() would call flushmmu() again.

to avoid this, we now check up->newtlb in addition to m->flushmmu
in hzclock() before calling flushmmu().

we also maintain information on which process on what processor
to wait for locally, which helps making progress when multiple
procflushmmu()'s are running concurrently.

in addition, this makes the wait condition for procflushmmu()
more sophisticated, by validating if the processor still runs
the selected process and only if it matchatches, considers
the MACHP(nm)->flushmmu flag.

fix some acme memory leaks

(imported from plan9port 7ca1c90109e17dced4b38fbaadea9d2cf39871b7,
some tag restoration lines not relevant.)

hoc: don't nest calls to follow() when lexing ++/+= and --/-= (#287)

The code had a nested use of the follow() function that could cause +=+
and -=- to register as ++ and --.  The first follow() to execute could
consume a character and match and then the second follow() could consume
another character and match.  For example i-=-10 would result in a syntax
error and i-=- would decrement i.

(imported from plan9port commit f1dd3f065a97f57bf59db2e3284868e181734159)

words: transgender

delete obsolete comments (replies are flagged elsewhere)

merge

bcm: use extended small pages so XN bit can work

the change to support no-execute bits broke the original
raspberry pi1, as it uses backwards compatible page table
format.

to use the XN bit, subpage AP bits have to be disabled
using the XP bit in CP15 Control Register c1 Bit 23.

9/boot/net.rc: suppress error from grep if ethernet ifstats file is not found

this can happen with nusb/ether, which does not implement ifstats file.

acme: Apply each -/+ only once (#156)

When plumbing an address like `3-`, Acme selects line 1,
and similarly `3+` selects line 5.
The same problem can be observed for character addresses (`#123+`)
but _not_ for ones like `+`, `.+` or `/foo/+`:
The problem only occurs when a number is followed by a direction (`-`/`+`).

Following along with the example `3-` through `address` (in addr.c):
We read `3` into `c` and match the `case` on line 239.
The `while` loop on line 242ff reads additional digits into `c`
and puts the first non-digit back by decrementing the index `q`.
Then we find the range for line 3 on line 251 and continue.

On the next iteration, we set `prevc` to the last `c`,
but since that part read ahead _into `c`_,
`c` is currently the _next_ character we will read, `-`,
and now `prevc` is too.

Then in the case block (line 210) the condition on line 211 holds
and Acme believes that it has read two `-` in sequence
and modifies the range to account for the “first” `-`.
The “second” `-` gets applied after the loop is done, on line 292.

So the general problem is:
While reading numbers, Acme reads the next character after the number into `c`.
It decrements the counter to ensure it will read it again on the next iteration,
but it still uses it to update `prevc`.

This change solves the problem by reading digits into `nc` instead.
This variable is used to similar effect in the block for directions (line 212)
and fills the role of “local `c` that we can safely use to read ahead” nicely.

(imported from plan9front a82a8b6368274d77d42f526e379b74e79c137e26)

acme: avoid division by zero when resizing col (#189)

To reproduce, create a column with at least two windows and resize
acme to have almost zero height.

(imported from plan9port commit 76b9347a5fa3a0970527c6ee1b97ef1c714f636b)

acme, sam: handle >1GB files correctly

imported from plan9port, edfe3c016fe6ef10c55f7a17aab668214ec21efc

merge

cmd(3): fix typo, Close -> Closed (thanks kivik)

rio(4): fix bad cross-reference format

seconds(1): add SOURCE section

always zero initialize Tm structure for tm2sec()

Remove reply print.

merge

pc, pc64: clear debug watchpoint registers on exec and exit

when a process does an exec syscall, procsetup() is called and
we have to disable the debug watchpoint registers. just clearing
p->dr is not enougth as we are not going thru a procsave() and
procrestore() cycle which would disable and reload the saved
debug registers.

instead of clearing debug registers in procfork(), we should
clear the saved debug registers before a process goes to die
(pexit() calls sched() with up->state = Moribund) as the Proc
structure can get reused for kernel processes (kproc) which
never call procfork() and would therefore have debug registers
loaded.

remove debug print

simplify flag parsing.

we've only got a few flags, a linear search is good enough,
and is obviously correct; the old search wasn't.

os(1): fix a typo

merge

vgai81x: remove unused mach0 variable

pc: fix ldt memory leak in procsetup()

kernel: add missing FPillegal definition for kw and omap kernels