games/doom: implement filelength() (thanks quux)

this function is used when playing demos from external lumps. the game just
exits without this patch.
to test this, download a demo lump from somewhere, and play it with -playdemo %s
where %s is the file's name, without the .lmp extension:

(note that this one is a doom 2 demo, so it requires doom2.wad)
% hget http://doomedsda.us/lmps/945/3/30nm2939.zip | unzip -sv
extracting 30nm2939.LMP
extracting 30nm2939.txt
% mv 30nm2939.LMP 30nm2939.lmp # checking for a lump filename is case sensitive
% games/doom -playdemo 30nm2939

the game exits when the demo ends. also, note that this demo will desync on
map06 (the crusher), because of an unrelated bug (that's another patch :>)

note: filelength() returns vlong, but file lengths for doom lumps are ints.
however, this might be used elsewhere (networking), so i'd leave it this way.

etheriwl: add pciid for Centrino Wireless-N 1000 (thanks qu7uux)

card seems to work fine with just this.
http://sysinfo.9front.org/src/125/body

webcookies: fix isdomainmatch() (fixes livejournal.com login)

when cookie is domain=example.com, then we implicitely add
dot to the domain name, which made us reject the cookie as the
request domain "example.com" != ".example.com". fix by making
isdomainmatch() skip the implicit dot in pattern before string
comparsion.

ratrace: avoid blank line prints, make writer the parent

when there where multiple syscalls returning out of order,
it would print blank lines between the exits. avoid this
by remembering if the last char written was a newline and
conditionally insert newline on out of order return.

sometimes, ratrace would return before all messages have
been printed. make the writer process the parent so ratrace
wont exit until all readers are finished avoiding the
problem.

ratrace: various improvements

error handling, serialize exits, close reader filedescriptors,
fix channel types, embedd the string buffer in the Msg struct.

cc: provide fake realloc() for getenv()

kernel: remove obsolete comment from namec()

kernel: export mntattach() from devmnt.c avoiding bogus struct passing and special case in namec()

we already export mntauth() and mntversion(), so why not stop
being sneaky and just export mntattach() so bindmount() and
devshr can just call it directly with proper arguments being
checked.

we can also avoid handling #M attach specially in namec()
by having the devmnt's attach function do error(Enoattach).

ether79c970: set mbps for proper queue sizes, assume gigabit ethernet for vmware

lib9p: return "write prohibited" error as documented in 9p(2) when srv->write is nil (thanks silasm)

kernel: clunk the cache when removing cache flag on a channel, only call cread() chen CCACHE flag is set

to avoid double caching, attachimage() and setswapchan() clear
the CCACHE flag on the channel but this keeps the read ahread
state of the cache arround (until the chan gets closed), so also
call cclunk() to detach the mcp and free the read ahead state.

avoid the call to cread() when CCACHE flag is clear.

devmnt: use c->iounit instead of msize-IOHDRSZ to chunk reads and writes, reduce memory overhead for Mntrpc, mntalloc lock

use the actual iounit returned from Ropen/Rcreate to chunk reads and writes
instead of c->mux->msize-IOHDRSZ.

dont preallocate the rpc buffers to msize, most 9p requests are rather small
(except Twrite of course). so we allocate the buffer on demand in mountio()
with some rounding to avoid frequent reallocations.

avoid malloc()/free() while holding mntalloc lock.

devmnt: dont reset readahead window when requested offset still has pending rpc

kernel: pipelined read ahead for the mount cache

this changes devmnt adding mntrahread() function and some helpers
for it to do pipelined sequential read ahead for the mount cache.

basically, cread() calls mntrahread() with Mntrah structure and it
figures out if we where reading sequentially and if thats the case
issues reads of c->iounit size in advance.

the read ahead state (Mntrah) is kept in the mount cache so we can
handle (read ahead) cache invalidation in the presence of writes.

page: fix deadlock, nil vs 0 for pointer comparsion, cleanup

libsec: increase handshake message buffer size (MaxChunk) to 32K (thanks sl)

_sl → webfs doesn't like packetfire.org: '/mnt/web/body' 0 No status tls: local handshake message too long 30781 16384

fortunes: go away.

ip/httpfile: fix flushes, fix concurrent reads, set error string

Tflush handling was wrong, we cannot respond to the old
request if we have not actually removed the req from the
in progress block queue.

when reads are issued concurrently, we have to set b->len
before the block is inserted into the inprogress list.
otherwise findblock() is unable to find it and no requests
can be queued on the block. this caused the same offset
to be downloaded multiple times.

set the errstr in getrange() so in case of an error, we dont
get some random previous error string.

kernel: make sure fd is in range in fdclose()

as the Fgrp can be shared with other processes, we have to
recheck the fd index after locking the Fgrp in fdclose()
to make sure not to read beyond the bounds of the fd array.

kernel: simplify syspipe()

devaoe: more nil vs. 0

devaoe: fix off by one in aoeerror(), consistent use of nil for pointers, error handling

kernel: consistent use of nil for pointer in sysfile.c

kernel: cleanup chan.c to consistenly use nil instead of 0 for pointers

kernel: make sure the swap device has a reasonable capacity in setswapchan()

devmnt: do not use user buffer to update the mount cache

using the user buffer has a race where the user can modify
the buffer from another process before it is copied into the cache.
this allows poisoning the cache for every file where the user
has read access.

instead, we update the cache from kernel memory.

devstream: fix mistake

stream(3): fix reference

fcp: use iounit() to determine buffer size, reduce number of worker procs to 8

cp: experimental stream support

devstream: fast sequential file access with 9p pipelining experiment

pc: check Sse (bit 25) in cpuiddx before enabling fxsr in cr4 (fixes crash on the pentium II)

aux/cpuid: make sure extended feature bits are available (fixes crash on the pentium II)

devproc: make sure statbufread offset wont turn negative

fcp: fix wrong write pointer offset when read returns less than DEFB bytes

kernel: remove debugalloc.c

mk9660: write data in alphabetical order

*after* writing, the directory tree gets alphabetically sorted for
path table. this causes data to not be in the same order as it was
written causing seeks when taring up the filesystem.

so instead write the files in alphabetical order as well to better
match the directory sorting.

9660srv: keep data and metadata separate in the cache with a tag

data on the disk is layed out sequentially and directory information
is at the end of the disk. we want to keep data and metadata separated
so that reading large sequential files will not evict the directory
information from the cache causing long seeks.

for that, we tag the clusters (an 8th for metadata, and the rest
for data) and getbuf() will only evict clusters of the same tag.

9660srv: go back to 128k clusters

doing tests taring up 9front.iso shows the following:

lowering the cluster size back to 128k avoids over half the
reads. 837888 sectors read for 512k vs. 347712 sectors with
128k cluster size.

inst: fix download task using ip/httpfile to mount a iso over http and prompt for installurl

httpfile: fix evictblock() so we wont consume all the memory

libFLAC: fix compiler warnings by properly declaring void function arguments

python: HAVE_STDINT_H 1

ape: add stdint.h, fix SSIZE_MAX and add SIZE_MAX to limits.h

cpp: search source file directory first for quoted #include (thanks Ori_B)

foo.c includes bar/bar.h, which includes "baz.h"; it wants bar/baz.h
meanwhile, it also includes meh/quux.h, which includes "baz.h"; it wants meh/baz.h

ether82563: fix multicast filter (based on openbsd em(4) driver)

page: make lookahead fetch work in backwards direction

tftpd: count only options we understand so we wont send empty oack message

etherrt2860: add multicast stub

etheriwl: add multicast stub

etherwpi: dont enable transmit power for invalid channels, add multicast stub

wifi: reflect current transmit rate in mbps

etherwpi: afra support

etheriwl: dont clear descriptors after completion

wifi: adjust transmit rate on error (for etheriwl), small mkfile changes

Wnode gets two new counters: txcount and txerror
and actrate pointer that will be between minrate
and maxrate.

driver should use actrate instead of maxrate for
transmission when it can provide error feedback.

when a driver detects a transmission failed, it calls
wifitxfail() with the original packet. wifitxfail() then
reduces wn->actrate.

every 256th packet, we optimistically increase wn->actrate
before transmitting.

kernel: use HDR_MAGIC constant to handle Exec header extension, make rebootcmd() handle AOUT_MAGIC macro

sysexec(): need () arround AOUT_MAGIC comparsion to handle #define hack on mips

sysexec(): make the mips compiler happy

kernel: reject bogus two byte "#!" shell scripts in sysexec()

- reject files smaller or equal to two bytes, they are bogus
- fix out of bounds access in shargs() when n <= 2
- only copy the bytes read into line buffer
- use nil for pointers instead of 0

kernel: various cleanups of imagereclaim(), pagereclaim(), freepages(), putimage()

imagereclaim(), pagereclaim():
- move imagereclaim() and pagereclaim() declarations to portfns.h
- consistently use ulong type for page counts
- name number of pages to free "pages" instead of "min"
- check for pages == 0 on entry

freepages():
- move pagechaindone() call to wakeup newpage() consumers inside
  palloc critical section.

putimage():
- use long type for refcount

5e: enable VFP emulation by default, doubles only need to be 4 byte aligned

this adds -F flag to 5e (same as 5l) to disable VFP emulation
and makes VFP emulation the default.

pc64: use unsigned long for kmapindex and mmu counts avoiding signed integer division

ape: port libc smp tas() for arm

libc/arm: implement _tas() with LDREX/STREX, execute memory barrier on smp systems (zynq)

all kernels: declare _tas() to prevent pulling in libc version (for libmemdraw)

5e: approximate LL/SC with cas()

5e: make sure stack base is aligned to avoid unaligned memory trap on arm

open(2): fix typo

nusb/audio: dont sysfatal on bad endpoint (no altc)

nusbrc: handle fat formated usb drives without partition table

on some usb drives, there is no dos partition table, so check
the filesystem type and consider the whole drive.

etherwpi: remove debug prints, use iprint() in interrupt

wpa: do not prompt for key when there is already one in factotum

etherwpi: Intel PRO Wireless 3945abg driver based on openbsd's if_wpi (thanks aap)

pc, pc64: toggle bit 2 in port 0x61 to reset and enable PCI SERR# nmi's, print nmi status

approx: chmod 775

added approx(1)

fortunes: No we can't.

wifi: berlin prime bunny hopping

- reduce delay for channel hop to 200ms
- use 1000ms timeout for auth response (dont hop channels while we wait)
- bunny hop sequence is mathematically prooven

5e: implement DSB,DMB,ISB and CLREX instructions

kernel: do not pull in atom.s from libc for arm kernels

- provide our own copy of cas() in l.s
- replace use of libc ainc()/adec() with portable incref()/decref()

exec(2): return register (R0) contains address of Tos structure.

kernel: ignore last page at the top of virtual kernel address space for xalloc()

avoding kernel address -BY2PG because of end pointer wrapping to zero.

ndb(6): fix typo (thanks, pena)

dhcpd(8): the fs attribute refers to the file server, not the name server (thanks, pena)

zynq: use KADDR() for kmap() if we can avoiding the mapping

kernel: ignore memory pages with singular kernel addresses

addresses va's of 0 and -BY2PG cause trouble with some memmove()/memset()
implementations and possibly other code because of the nil pointer
and end pointers wrapping to zero.

zynq: fix barriers

unlock()/iunlock():

we need to place the coherence() *before* "l->key = 0", so that any
stores that where done while holding the lock become observable
*before* other processors see the lock released.

cas()/tas():

place memory barrier before successfull return to prevent reordering.

kernel: do not inherit Proc.dot (current working directory) in kproc()

making sure to close the dot in every kproc appears repetitive,
so instead stop inheriting the dot in kproc() as this is usually
never what you wanted in the first place.

kernel: do not inherit current directory channel (dot) to pager

kproc() inherits dot and slash, pager needs to drop these
channels, otherwise it will keep the files open preventing
say, ramfs to exit.

usps: cut the useless part

stats: add kernel malloc and kernel draw allocation size graphs

devcons: add current pool allocations to #c/swap

kernel: remove waserror() arround newpage() in mntcache

newpage() does not raise error().

kernel: add pagechaindone() to wakeup processes waiting for memory

we keep the details about palloc in page.c, providing pagechaindone()
for mmu code to be called after a series of pagechainhead() calls.

dontkill: only use noswap flag to mark processes as not to be terminated on oom

changing procmode has the nasty side effect that notes cannot
be posted to them, prventing sysfatal() and threadexitsall()
to cleanup properly.

recent kernels also check the noswap flag to void killing them
in out of memory condition, so this is really all we need now.

there's plenty of room in /lib

kernel: implement separate wait queues for page allocation

give kernel processes and local disk file servers (procs
having noswap flag set) a clear advantage for page allocation
under starved condition by giving them ther own wait queue so
they get readied as soon as pages become available.

hjfs: defer parent directory permission check for wstat

check parent directory permission *after* we determined
that the new name does not exist in the parent, so that
when the new name is the same as old name then no write
permission is required in the parent directory.

hjfs: fix wstat

- rename to same name is ok
- only truncate when file size is different
- check for uid/gid *change*, not if it is specified or not

nusb/serial: remove unused channel