upas/fs: disable imap mail fetch pipeline due to race

pipeline = 1 with a dovecot imap server causes FETCH and OK responses
get interleaved so some message bodies accidentally get merged together.
disabling it will make fetching mail over imap slower, but it works.

xen: delete screen.h from pc that accidentally snuck in. a screen.h for xen framebuffer will be added later.

xen: fix boot argv0

xen: gotta go fast

use smaller timeouts for sleeps while waiting for xen ether and sd devices to come online. in practice they come up very quickly.

xen: correct print format for long

sam: mark samsave executable

sam generates $home/sam.save for modified files. it expects /sys/lib/samsave to be executable to restore the modified files.

xen: fix early console

import xen 32 bit paravirtual kernel from /n/sources/xen.

kernel: more proc.c cleanup

kernel: make use of nil and 0 consistent in proc.c

always explicitely compare with nil if pointer.
sorry for the noise. :(

merge

kernel: fix cooperative scheduling for wired processes

newt(1): minor man page clarifications

ether8169: use u16int instead of u8int for C+ command register (thanks pavel / erik)

pc64: fix comment for preallocpages()

remove imagepagerefs() acid function

kernel: new pagecache, remove Lock from page, use cmpswap for Ref instead of Lock

make the Page stucture less than half its original size by getting rid of
the Lock and the lru.

The Lock was required to coordinate the unchaining of pages that where
both cached and on the lru freelist.

now pages have a single next pointer that is used for palloc.head
freelist xor for page cache hash chains in Image.pghash[].

cached pages are not on the freelist anymore, but will be reclaimed
from images by the pager when the freelist runs out of pages.

each Image has its own 512 hash chains for cached page lookup. That is
2MB worth of pages and there should be no collisions for most text images.

page reclaiming can be done without holding palloc.lock as the Image is
the owner of the page hash chains protected by the Image's lock.

reclaiming Image structures can be done quickly by only reclaiming pages from
inactive images, that is images which are not currently in use by segments.

the Ref structure has no Lock anymore. Only a single long that is atomically
incremented or decremnted using cmpswap().

there are various other changes as a consequence code. and lots of pikeshedding,
sorry.

ed: dont pass string constants to mktemp()

games/md: small bug fixes

games/md: add shadow/hilight support

games/md: add save game support, fix cpu bug

games/md: small fixes

games/snes: fix -T

games/md: vdp window fix, added ym2612 timers

games/md: add z80, audio support

merge

pc64: fix MS2HZ (thanks Anthony Martin)

termrc, cpurc: clarify comments by removing lies

libstdio: avoid issues with aliasing in dtoa() on amd64 (from 9atom, thanks to erik and charles)

libsec: use u32int instead of uint when we need 32 bit (thanks erik)

samterm: use 4K stacks for amd64 (thanks burnzez)

we got a stack overflow on the hostproc on amd64 overflowing
by arround 200 byte. so just use 4K stacks for everything.

revert ramfs example

the code was correct. erealloc9p() terminates the process
on error, but the code was handling realloc() error explicitely
and responded the request with Enomem error.

libsec: fix dsagen 64-bit bug (thanks rsc)

lib9p: ramfs example: s/realloc/erealloc9p/

pool: declare pooldump in pool.h. the manual says it is public.

audiohda: add Intel 8 Series/C220 Series support

ether8169: support for RTL8168G

mkpaqfs: english

pc: clip rectangles before sending them to the hardware in flushmemscreen

the vmware svga video card emulated by qemu (qemu -vga vmware) complains and eventually causes a panic if the rectangles aren't clipped.

messages like the following can be observed from qemu before the kernel panics:
vmsvga_update_rect: update h was < 0 (-20000)
vmsvga_update_rect: update height too large y: 10000, h: 0
vmsvga_update_rect: update w was < 0 (-20000)
vmsvga_update_rect: update width too large x: 10000, w: 0

i could only reproduce this in qemu 2.0.50 on the master branch, when using the ui and had selected 'Zoom To Fit' from the View menu.

ether79c970: fix mistake

fix bug introduced by amd64 support:

forgot to update ring index i on receive. surprisingly
this was working until there where more than one packet
to process. sorry.

ilock the controller while processing rings. this should
be fixed and use kprocs instead.

iostats: add -C flag to enable mount cache

iostats: dont sysfatal on 9p read error due to program termination

the note mechanism is racy and can lead to the fs terminating
iostats because it gets "i/o on hugup channel" (namespace closed).

swap: make sure swap address sticks arround until page is written to swap

we have to make sure the *swap address* doesnt go away,
after putting the swap address in the segment pte.

after we unlock the segment, the process could be
killed or fault which would cause the swap address to
be freed *before* we write the page to disk when it
pulls the page from the cache and putswap() swap pte.

keeping a reference to the page is no good. we have
to hold on the swap address. this also has the advantage
that we can now test if the swap address is still
referenced and can avoid writing to disk.

pc64: use pc/pcrandom.$O instead of port/random.$O for RDRAND instruction support

kernel: remove _xinc()/_xdec()

as with the Block refcount changes, _xinc() and _xdec() arent
used anymore, so remove them.

architecure can still define ainc()/adec() when it needs them.

pc, pc64: fix missed qunlock, use Ref with incref()/decref() instead of _xinc()/_xdec()

omap: move syscall.$O target from config to mkfile

omap: remove Block refcounting

kernel: remove Block refcounting (thanks erik)

teg2: move syscall.$O and syscallfmt.$O targets from config to mkfile

kw: move syscall.$O target from config to mkfile

omap4: update for new syscall interface and syscallfmt

dougfacts: remove html corruption and end file with newline

pc64: remove unneeded parens in pmap()

merge

pc64: implement checkmmu() debug function

sdvirtio: experimental support for virtio-scsi

file: djvu

fortunes: i believe any successful Plan 9 distro will need to provide some transparency in the change review process. -- Skip Tavakkolian

file: detect NES and SEGA rom files, fix newline

merge

kernel: dont use atomic increment for Proc.nlocks, maintain Lock.m for lock(), use uintptr intstead of long for pc values

change Proc.nlocks from Ref to int and just use normal increment and decrelemt
as done in erik quanstros 9atom.

It is not clear why we used atomic increment in the fist place as even if we
get preempted by interrupt and scheduled before we write back the incremented
value, it shouldnt be a problem and we'll just continue where we left off as
our process is the only one that can write to it.

Yoann Padioleau found that the Mach pointer Lock.m wasnt maintained
consistently for lock() vs canlock() and ilock(). Fixed.

Use uintptr instead of ulong for maxlockpc, maxilockpc and ilockpc debug variables.

g: add *.cpp

pc64: dont trap _xinc()/_xdec() overflow/underflow, delete unused atomic functions

webfs: explicitely unmount old /mnt/web (thanks BurnZeZ)

webfs forks the namespace to isolate itself from its mount
point which has the side effect that it captures the mount
of previous instances of webfs mounted on /mnt/web.

explicitely unmount the mountpoint in our namespace copy
to drop the reference.

nusbrc: dont fork usb drivers into background

probing needs to run synchronous to avoid races with other
readers of /dev/usbevent.

nusb/usbd: cleanup

kernel: remove wrong and needles mapsize check in newseg() (thanks Yoann Padioleau)

nusb/usbd: serialize /dev/usbevent processing

when there are multiple readers of /dev/usbevent, we have to
serialize the processing to make sure that only one driver
is opening the devices control endpoint at a time.

to do this, we assume the device is busy after reading the
event file until the next read or clunk on the same fid.

to mark a device busy, we set the dev->aux pointer to the
fid processing a event. And the Event structure takes a
reference to the device producing the event.

the problem arised from cdc ethernet and nusb/serial sharing
the same device class, and we need to run the particular driver
to figure out if the device can be used. doing this concurrently
fails because devusb allows only one open per endpoint.

pc64: fix for unsigned comparsion of (top - base) >= size

the rounding of base can make it above top, so have to
use signed comparsion.

pc64: use 2MB pages for preallocpages()

pc64: allocate palloc.pages from upages

the palloc.pages array takes arround 5% of the upages which
gives us:

16GB = ~0.8GB
32GB = ~1.6GB
64GB = ~3.2GB

we only have 2GB of address space above KZERO so this will not
work for long.

instead, pageinit() was altered to accept a preallocated memory
in palloc.pages. and preallocpages() in pc64/main.c allocates the
in upages memory, mapping it in the VMAP area (which has 512GB).

the drawback is that we cannot poke at Page structures now from
/proc/n/mem as the VMAP area is not accessible from it.

games/nes: support Battle City two players mode with joypads

6a, 6c, 6l: fix copy propagation

Without an explicit signal for a truncation, copy propagation will
sometimes propagate a 32-bit truncation and end up overwriting uses of
the original 64-bit value.

This was independently discovered and fixed in Go. See:
http://golang.org/issue/1315
https://codereview.appspot.com/6002043/

Thanks Charles Forsyth for tips and advice.

we look for strings.c, it is broken, this strings.c will make us go.

pc, pc64: simplify reboot code

as we do system reset and reboot only from boot processor cpu0 now,
theres no need for active.rebooting conditional variable.
mpshutdown() will unconditionally park application processors and
and cpu0 boots the new kernel or calls mpshutdown() causing system
reset.

pc: initiate machine reset only from boot processors in mpshutdown()

in vmware, mpshutdown() used to hang in i8042reset() when not
called from the boot processor, so instead of reseting from first
cpu that acquires the shutdown lock, we park all application
processors and let the boot processor do the reset.

games/md: bug fixes

ape/stdio: set errno to EMFILE when running out of streams

games/snes: originwindow confuses the cat

page(1): or

page(1): minus

page(1): theres no -r option, nor multipage restrictions

merge

games/md: moonwalker!

pc64: fix ulongs for address of devarchs realmodemem file

devproc: handle 64bit address writes to /proc/n/mem files

procwrite() did truncate the offset to 32bit ulong.
introduce off2addr() function that does the sign
extension hack and use it conststently for Qmem
reads and writes.

merge

kernel: simplify fdclose()

devproc: fix close and closefiles procctl

for the CMclose procctl, the fd number was not
bounds checked before indexing in the Fgrp.fd
array.

for the CMclosefiles, we looped fd from 0..maxfd-1,
but need to loop from 0..maxfd as maxfd is inclusive.

games/md: small cpu and vdp bug fixes

pc64: cleanup mmuzap

games/md: first bug fixes

added crude version of games/md

libauth: dont print blobs in auth_proxy error strings

cpu: remove duplicate environment and chdir($home) code (thanks qrstuv)

newns() (called by auth_chuid()) already prepares the
environment variables and puts us in a sane working
directory (as specified by the namespace file).

kernel: fix read size calculation in pio() demand load

on amd64, the text segment is aligned and padded to
2MB, but segment granularity is 4K which can give
us page faults that are beyond the highest file
offset. this is perfectly valid, but was not handled
correctly in pio().

libc: avoid static table and supurious reads in nsec()

use two per process memory slots, one for the
pid and one for the fd instead of a global table
avoiding the case when the table gets full.

instead of calling pread() on the cached fd
(dangerous as it has side effects when the
fd was not closed), we check if the cached fd
is still good  using fd2path() when called
the first time in this process.

libc: revert nsec() change, bring back filedescriptor caching

theres big performance regression with this using
cwfs. cwfs calls time() to update atime on every
read/write which now causes walks on /dev.

reverting to the previous version for now. in the
long run, we'll use new _nsec() syscall but this
has to wait for a later release once new kernels
are established.

syscall: add missing _nsec() declaration