merge

acme/win: fix fswrite() not assuming iounit < EVENTSIZE

fortunes: UX-wise (and generally speaking, for most common uses of a computer these days), Plan9 is, sadly, almost useless.

qmail: call mail instead of smtp with the wrong path

cfs: change default mountpoint to /mnt/cfs and fix the manual (thanks mischief)

acme: fix buffer overrun in xfidutfread() and xfidruneread(), cleanup

the utf8 buffers b1 where allocated from fbufalloc() which gives
us BUFSIZE bytes, but Xfid->count can be bigger than that. so just
emalloc() the requested number of bytes.

when converting from Runes to utf-8, we have to account for the
terminating '\0' byte snprint() places, so fix the maxrune number
calculation instead of using BUFSIZE+1 as buffer size.

kbmap: fix sprint() buffer overflow (thanks silasm)

A buffer can be overflowed in the init function of kbmap.c by using a filename of more than 112 characters.

sample output:
% cd /sys/lib/kbmap
% touch aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
% kbmap
kbmap 1974: suicide: sys: trap: fault write addr=0xa6a96510 pc=0x000011df
offending code is most likely the call to sprint in the init function of /sys/src/cmd/kbmap.c,
which in this case writes /sys/lib/kbmap/$file to a 128-bit buffer.
I'm willing to submit a patch for this myself along with a few minor improvements/fixes to kbmap
if I can figure out the nuances of doing so.

--silasm

plan9.ini(8): fix typo (thanks ftrvxmtrx)

plan9.ini(8): etheryuk

plan9.ini(8): document bcm and virtio ethernet and hda and ac97 audio.

plan9.ini(8): remove factotumopts= (not implemented), add secstore=, clarify domain name use for fs= and auth=

bootrc: keep original address when ndb/dnsgetip fails and let dial complain

bootrc: use "address" instead "ip" in wording netboot questions, as we domain names are allowed now.

merge

bootfs: remove disk/kfs fileserver, nobody uses it

bootrc: add ndb/dnsgetip resolver to bootfs so domain names can be used for fs=, auth= and secstore= (thanks mischief)

bootrc: preserve #ec/fs (thanks _sl)

ndb(8): document ndb/dnsgetip

dnsgetip: filter negative answers, remove -f flag, use dnsgetip logfile

ndb: add dnsgetip program to resolve A and AAAA records during bootstrapping

bootrc: handle multiple fs and auth addresses in netboot, always set auth= in /net/ndb

bootrc: do not pass authserver with -a flag to factotum, handle multiple secstore addresses

factotum is started in bootrc before the network is setup
(as we need it to negotiate wpa key for wifi). once, the network
is setup, the bootstrap authservers are passed in /net/ndb,
which factotum reads when doing bootstrap authdial. it does
this only when no authserver was specified earlier! but we
want net.rc to select the proper bootstrap authserver...

the $secstore variable takes precedence over $auth. as
there is no connection server yet, we have to select the set
of servers here and pass them to secstore with -s flag.
note that this will work if multiple addresses where
specified.

factotum: accept multiple bootstrap auth servers in /net/ndb and -a arguments

we might have to deal with multiple bootstrap auth server
ip addresses (ipv4 and ipv6) in the future, so deal with them.

secstore: allow multiple server addresses in $secstore and multiple -s arguments

on bootstrap, we might have to deal with multiple auth server ip
addresses (ipv4 and ipv6), so deal with it.

devsegment: fix segmentcreate function signature

merge

ethervirtio: fix queue notifications and interrupt flags, avoid useless notifications

bug: Rnointerrupt was used on Vqueue.used.flags instead of
Vqueue.avail.flags.

introduce vqnotify() function that notifies the device
about available ring advancement.

avoid queue notifications there that can be slow by
checking Unonotify flag in Vqueue.used.flags.

keep track of the number of notifications in the queue.

hgwebfs: add fake add_handler method for HTTPRangeHandler()

provide a add_handler() so code trying to add
byterange.HTTPRangeHandler will succeed. webfs
does handle "206 Partial Content" already.

ip/ipconfig: treat /32 mask as /0

some dhcp servers send a mask of 255.255.255.255 to indicate the gateway is directly routeable.

thanks to david du colombier for this patch.

ethervirtio: feature negotiation, allow setting mac address, dont read isr from ifstatus, avoid indirection

- properly negotiate Fctrlrx feature bit for promisc and multicast.
- allow setting mac address with ea= option from plan9.ini
- dont read the isr register from ifstats() as it has the side effect of reseting isr status
- embedd the Vqueue array in the Ctlr structure avoiding indirection
- add a interrupt counter Vqueue.nintr for statistical purposes
- only read network status register if the feature has been negotiated
- change name to "virtio" as "ethervirtio" is kind of redundant

ndb/dns: ignore terminating authoritative flag for no-answer when more nameservers are provided

continue recursing when we get empty but non-negative answer
from a (claimed) authoritative nameserer that provides more
nameservers.

this fixes wordpress dns:

63766.3: sending to 192.0.80.93/ns1.wordpress.com bossypally.files.wordpress.com ip
63766: rcvd OK from 192.0.80.93 (authoritative)
Q:    bossypally.files.wordpress.com ip
Auth: files.wordpress.com              5 min           ns    mdns1.wordpress.com
      files.wordpress.com              5 min           ns    mdns2.wordpress.com
      files.wordpress.com              5 min           ns    mdns3.wordpress.com
      files.wordpress.com              5 min           ns    mdns4.wordpress.com
      files.wordpress.com              5 min           ns    mdns5.wordpress.com
Hint: mdns1.wordpress.com              4 hr            ip    192.0.75.7
      mdns2.wordpress.com              4 hr            ip    198.181.117.7
      mdns3.wordpress.com              4 hr            ip    198.181.116.7
      mdns4.wordpress.com              4 hr            ip    198.181.118.7
      mdns5.wordpress.com              4 hr            ip    192.0.74.7

63766.4: sending to 192.0.75.7/mdns1.wordpress.com bossypally.files.wordpress.com ip
63766: rcvd OK from 192.0.75.7 (authoritative)
Q:    bossypally.files.wordpress.com ip
Ans:  bossypally.files.wordpress.com   5 min           ip    192.0.72.2
      bossypally.files.wordpress.com   5 min           ip    192.0.72.3
----------------------------
answer bossypally.files.wordpress.com   5 min           ip    192.0.72.2
answer bossypally.files.wordpress.com   5 min           ip    192.0.72.3
----------------------------

note the authoritative flag in the first response from ns1.wordpress.com that
would otherwise terminate the search.

ethervirtio: fix missing */

ethervirtio: implement promisc and multicast mode, cleanup

add vctlcmd() function to setup and comlete control commands.
handle Vctlq and implement promiscuous and multicast mode commands.
remove Vqueue.block[] and Vqueue.header. these are not properties
of the queue (Vctlq as no block array).

the block[] array only needs to be half the queue size as we use
two descriptors per packet.

fix broken shutdown() and remove useless ctl() function.

ethervirtio: avoid dumping packets in txproc when ring gets full

9boot(8): -from

strcat(2): fix strchr() and strrchr() function prototypes (thanks BurnZeZ)

pc, pc64: add and enable ethervirtio driver

many thanks to cinap_lenrek, erik quanstrom and david du colombier for feedback and testing.

resize: fix typo

astro: fix typo

games/md: fix interlace at scale 2

games/md: interlacing, sort of

audio(1): add mixfs to NAME section

pc, pc64: more conservative pcirouting

when we hit a conflict where the pci INTL register gives us
a different irq than we get from southbridge irq router, dont
just change the router setting to the bios assigned irq (that
was previously known as the BIOS workarround), but assume the
southbridge setting to be valid and change the pci INTL register
on the device to it.

only when the router link doesnt seem to be configured or
disabled, then program the router to the irq that bios asisgned
in the INTL register.

the reason is that changing the router setting changes the
irq routing for *all* devices on the same link and changing
it breaks previously checked and valid interrupt routings.
(so happend with virtualbox where the last device on the bus
is some powermanagement device that has wrong INTL setting
and changing the routing breaks the ethernet interrupts)

this change shouldnt affect modern machines which use ioapic
and mp tables or acpi for pci interrupt routing.

pc, pc64: preserve last KB of conventional memory (might contain bios tables)

we add new function convmemsize() that returns the size of
*usable* conventional memory that does some sanity checking
and reserves the last KB below the top of memory pointer.

this avoids lowraminit() overriding potential bios tables
and sigsearch() going off the rails looking for tables
at above 640K.

games/snes: do message display in screenproc

do the message drawing from the screenproc so there are no
race conditions with libdraw.

games/md, games/snes: fix memory leak on resize

hjfs(8): theres no chown in plan9, link to chgrp(1) manpage.

games/snes: fix extern pic declaration to match reality

games/md: apply same screen flush changes from games/snes

games/snes: flush screen in parallel to audio (fixes buffer underruns on x200s)

the x200s is too slow on a single core to keep up without
audio buffer underruns, so the idea is to flush screen
in parallel to witing audio samples in a separate process.

with the proc, we also can keep updating the screen on resize
when paused.

games/snes: save more audio state

audiohda: add pci ids for Intel 8 Series Lynx Point (thanks quux)

Based on OpenBSD driver:
- /sys/dev/pci/azalia.c rev 1.209
- /sys/dev/pci/pcidevs rev 1.1689
- only tested on amd64; machine is an Acer V5-573G
    exact model: V5-573G-74518G1Takk

wpa: handle essid: with whitespaces from ether ifstats file

wpa: fix quoting for essid with spaces

abaco: cleanup, handle image/x-icon, don't use backspace as a hotkey, and remove urlconvience()/related functions

nintendo(1): NTSC only

hpost: break up tags with newlines to avoid sed line buffer limit

sed: fix error handling for "Output line too long" and other stuff

sed just continued writing past genbuf when it should stop
with "Output line too long".

quit when we get unspecified options.

stupid casts from long to char* for no reason.

some 0 vs nil cleanup.

pc: get rid of fixed 8MB memory map (now dynamically between 4 to 16 MB depending on kernel size)

we now do mapping of KZERO to ROUND(end, 4*MB) where
end needs not to be above 16MB. this allows for bigger
kernels.

pc64: get rid of fixed 8MB INIMAP and dynamically map KZERO-end in l.s

traditionally, the pc kernel mapped the first 8MB of physical
address space. when the kernel size grows beyond that memory mapping,
it will crash on boot and theres no checking in the build process
making sure it fits.

with the pc64 kernel, it is not hard to always map the whole
kernel memory image from KZERO to end[], so that the kernel will
always fit into the initial mapping.

hpost: fix multipart/form variable name mangeling when field value contains newlines

com='MH3U
pic unrelated
' hpost -u ... -m post com:$com

resulted in wrong field name like:

--HJBOUNDARY
 Content-Disposition: form-data; name="com pic unrelated"

 MH3U
 pic unrelated

fortunes: (no plan9 to hand)

upas/fs: handle ramfs and hjfs "file locked" error

upas/fs: handle cwfs "file is locked" error message

ip: implement "hangup" ctl for udp protocol

kernel: make use of nil vs 0 consistent in qio.c (sorry)

rootstub: create /sys/src/pkg and /sys/lib/pkg directories

httpfile(4): document webfs dependency

httpfile: use webfs, fix 9p flushes

we can improve performance alot by using webfs which
does http keep alives for us, so connection setup
overhead is eleminated.

fix 9p flushes and double frees.

nintendo(1): more detail about gba

nintendo(1): document games/gba

pc64: fix comment description of pc64 kernel configuration

ether8169: add support for RTL8411B (thanks quux)

from quux 9fans post:

- based on the following changes in FreeBSD/OpenBSD:
http://svnweb.freebsd.org/base?view=revision&revision=257305
http://cvsweb.openbsd.org/cgi-bin/cvsweb/src/sys/dev/ic/re.c.diff?r1=1.144&r2=1.145&f=h
http://cvsweb.openbsd.org/cgi-bin/cvsweb/src/sys/dev/ic/rtl81x9reg.h.diff?r1=1.76&r2=1.77&f=h
http://cvsweb.openbsd.org/cgi-bin/cvsweb/src/sys/dev/ic/rtl81x9reg.h.diff?r1=1.83&r2=1.84&f=h
- sysinfo _with_ patch, on amd64 (please disregard non-working audio and iwl stuff):
http://sysinfo.9front.org/src/86/body
- tested only on amd64; machine is an Acer V5-573G (exact model: V5-573G-74518G1Takk)

pc, pc64: command flag sometimes doesnt reset, just check for IBF

io: add -E flag to access embedded controller space

merge

pc, pc64: provide access to embedded controller with #P/ec file

filter(1): fix typo i introduced

this is a good example of why blindly copy-pasting patches is a bad idea.

kernel: remove implicit Proc* argument from procctl()

procctl() is always called with up and it would not
work correctly if passed a different process, so
remove the Proc* argument and use up directly.

dont flush screen when hiding software cursor

we can avoid some flickering when removing the software cursor
from the shadow framebuffer by avoiding the flushscreenimage()
call.

once the cursor is redrawn, we flush the combined rect of its
old and new position in one go.

smtpd: cleanup hello() domain check code

theres no point in doing domain checks on literal ip addresses,
so handle that case early.

merge

smtpd: accept literal ipv6 addresses in HELO/EHLO

all: typo fixes from ray@raylai.com

Don't quit ircrc on blank line (thanks Ray)

fix dangerous werrstr() usages

werrstr() takes a format string as its first argument.
a common error is to pass user controlled string buffers
into werrstr() that might contain format string escapes
causing werrstr() to take bogus arguments from the stack
and crash.

so instead of doing:
werrstr(buf);

we want todo:
werrstr("%s", buf);

or if we have a local ERRMAX sized buffer that we can override:
errstr(buf, sizeof buf);

libc: import cleaned up syslog() function from sources

this fixes a potential format string problem where the
error string is passed to werrstr() as fmt. also, the
directory comparsion is simplified in this version using
a helper function.

libc: improve dial error handling

when dial is called with a generic dialstring, it will try
/net and /net.alt in sequence. error out if the /net dial
gets interrupted and do not continue dialing /net.alt.

reduce stack usage by using the swaping nature of errstr()
instead of keeping two error string buffers on the stack.

devproc: reset p->pdbg under p->debug qlock in procstopwait()

theres a race where procstopwait() is interrupted by a note,
setting p->pdbg to nil *before* acquiering the lock and
and pexit() and procctl() accessing it assuming it doesnt
change under them while they are holding the lock.

mouse(2): fix atomouse (thanks qrstuv)

libdraw: fix atomouse

libc: allow dial to be interrupted

previously, if dial was interrupted by an alarm or other note while connecting to a host that resolved to multiple ips, dial would ignore the interruption and try the next host. now dial properly returns with error when it is interrupted.

inst: copy efi bootloader in bootsetup

fix some manpage cross references

termrc: setup mouse when we have a framebuffer

previously, we setup mouse only when vgasize= was specifid in
plan9.ini. with efi systems, the framebuffer is already setup
for us and theres no requirement for going thru aux/vga setup,
but we still want to setup the mouse.

so do the mouseport= check once theres a framebuffer by testing
the existence of '#i/winname' (which fails when thers no
framebuffer).

acpi: fix pcibusno() when PCI0._ADR = 0

libaml comresses zero integer as nil, so remove the
nil check. this makes interrupts work in vmware with
efi.

pc: enable page size extension early in apbootstrap

vmware in efi mode brings application processors up
with CR4 = 0 (pse disabled) which makes us page fault
when accessing the ap's pdb which might be in a 4MB
mapping when the boot processor used pse to setup
page tables.

so we unconditionally enable pse in apbootstrap
(and disable pae in case of surprises).

9boot(8): remove redundant "the"

9boot(8): improve efi documentation

bullshit: don't pollute the environment