wifi: learn target ip address from neighbor advertisements in dmat proxy

wifi: filter out loopback traffic from myself

broadcast traffic was received back on the wire causing
duplicate address detection to break with dmat proy as
the rewritten broadcasts where observable.

the fix is to just ignore packets from ourselfs received
from the air. devether already handles loopback.

ip/ipconfig: set on-link flag in router advertisement prefix info (fixes windows7)

merge

ether8169: deal with kernel memory exhaution

when kernel memory is exhausted, rtl8169replenish() can fail
to plant more receive descriptors and rtl8169receive() would
run over the receive tail and crash on the nil ctlr->rb[x].

rtl8169receive() is called on "Receive Descriptor Unavailable"
and "Packet Underrun" so we will try to replenish descriptors
in the beginning first in case memory was exhausted and memory
is available again and make sure not to run over the tail.

merge

forgot to commit asn1dump.c...

rconnect: support -t timeout for aan like in drawterm; also rcpu, rexport/import

venti: fix wrong channel element size for amd64 (thanks mycroftiv)

tlssrv: remove usage reference to lost auth/secretpem

factotum: remove unused sshrsa.c

libsec: remove asn1toDSApriv()

remove asn12dsa, dsa2pub, dsa2ssh and dsagen

was mostly usefull for old ssh.

auth/asn1dump: include in mkfile

tlsclient: allow dumping the server's certificate with new -d flag

usefull for debugging, like:

./8.tlsclient -d /fd/3 tcp!code.9front.org!https |[0=3] auth/asn1dump

tlsclient: remove X509dump() call, writes to fd 1

/sys/lib/dist: split 9boot into 9bootproto, make *.386.iso and *.amd64.iso targets

inst: determine kernel for bootsetup from $bootfile and $cputype

sysinfo: #c/swap -> #¶/swap

stats: show amount of reclaimable pages (add -r flag)

reclaimable pages are user pages that are used for
caches like the image cache, mount cache and swap cache.

pc kernel: fix wrong simd exception mask (fixes go bootstrap)

ape/libauth: remove auth_wep.$O from mkfile

ape: update auth.h header for APE

factotum(4): document dp9ik, update protocol list

libauth: simplify _attrfmt() using fmtprint() avoiding stack buffer

libauth: remove auth_wep() function, and non-existing httpauth() declaration

factotum: remove legacy wep protocol

libauth: fix out of bounds memory access in _parseattr()

empty token would read ""[-1] accidentally in the AttrQuery case.

factotum: replace custom hex parsing code with dec16() avoding timing side channels

libmp: use constant time encode(2) routines instead of lookup tables

the encode(2) routines are constant time now, so
use them instead of using lookup table that can
leak information through cache timing side channel.

ape: make encXchr()/decXchr() functions available

libc: constant time implementation for encode(2) routines, fix base32

the string encoding functions touch secret key material
in a bunch of places (devtls, devcap), so make sure we do
not leak information by cache timing side channels, making
the encoding and decoding routines constant time.

we also expose the alphabets through encXchr()/decXchr()
functions so caller can find the end of a encoded string
before calling decode function (for libmp).

the base32 encoding was broken in several ways. inputs
lengths of len%5 == [2,3,4] had output truncated and
it was using non-standard alphabet. documenting the alphabet
change in the manpage.

wifi: get rid of custom hextob() routine, use dec16(), avoid copies in parsekey()

aux/wpa: get rid of custom Hfmt() routine, just use encodefmt. use %E for mac addresses

libsec: implement SPKI fingerprinting for okCertificate()

Instead of only using a hash over the whole certificate for
white/black-listing, now we can also use a hash over the
Subject Public Key Info (SPKI) field of the certificate which
contians the public key algorithm and the public key itself.

This allows certificates to be renewed independendtly of the
public key.

X509dump() now prints the public key thumbprint in addition
to the certificate thumbprint.

tlsclient will print the certificate when run with -D flag.

okCertificate() will print the public key thumbprint in its
error string when no match has been found.

libsec: fix mistake: strnchr -> strchr

libsec: avoid unneccesary memory copies and redundant code in x509

getting rid of some functions that take Byte* and instead
pass uchar* and length.

keeping the signature and public key fields in CertX509
as Bits* allows ownership transfer by swapping pointers.

use common code to copy CN from subject field.

libsec: get rid of dummy data[1] in Bytes and Ints types (thanks pr)

usbxhci: add missing pexit() in xhcirecover proc (thanks sam-d)

wifi: revert rate adoption divider, breaks arpunks wifi

/lib/bullshit: +converged

devtls, devssl: avoid ~0UL comparsion (from drawterm)

devmnt: use u32int for tagmask, simplify alloctag()

wifi: don't implicitely update lastseen timestamp on nodelookup()

in case we continue to send traffic (like ping) with the ap gone,
the sending would keep updating bss->lastseen which prevents the
timeout to happen to switch bss.

etheriwl, etherwpi: limit transmit queue buffer bloat to 48k (at 22Mbit ≅ 20ms)

wifi: don't assume Wifi.rates[] is sorted, return net data rate for mbps (50% theoretical)

arch(3): document #P/realmodemem file

devvga: removing #v/vgabios, use /dev/realmodemem instead

kernel: convert textmode cga screen contents to kmesg only once

screeninit() might be called again by devvga when switching
to textmode, so only convert the text framebuffer to kmesg
the first time.

auth(8): auth/debug tests both dp9ik and p9sk1

kernel: remove Ipifc.mbps, unused.

/lib/bullshit: blockchain

ip/tinc: handle and set ethertype for ipv6

upas/fs: more bugs

upas/fs: fix precedence bugs, compare digest pointer to nil

ether8169: add Macv45 for RTL8111HN, rename Macv45 -> Macv42 (thanks qeed, sam-d)

nusb/ether: dont forward loopback packets on bridges, remove read nonblocking hack

devether: dont forward loopback packets on bridges

devbridge: disable write blocking on ethernets

bridge(3): clarify manpage, this is a layer2 bridge

yes, it peeks into IP packets to handle fragmentation when sending
onto tunnel ports and does mss clamping. but it can carry arbitrary
ethernet packets just fine (between ethernets).

pc, pc64: add devbridge to kernel configuration

devbridge: fix mss clamping

- use protocol constants from ip/ip.h and ip/ipv6.h
- support mss clamping for ipv6
- fix padding bug on 64 bit machines (can't use sizeof(Tcphdr))

ip/tinc: handle single byte noop and end-of-option-list tcp options in clampmss()

wifi: use protocol constants from ip/ip.h and ip/ipv6.h for dmatproxy()

wifi: matt damon wifi bridging support

ether: allow spoofing of source mac address for bridges; used by vmx

to implement layer 2 bridges in userspace, we disable to auto filling
of the source mac address when bridge mode is enabled on the
connection.

vmx(1): fix virtio network bloomfilter

/sys/man/*/*: fix perms (sorry)

fortunes: Subject: [oss-security] nvi denial of service

/sys/lib/rootstub

devether: remove duplicated parseether() implementation (pull from libip)

libflate: force non-empty huffman table in mkzprecode() for deflate

busybox gunzip fails on empty (offset) huffman tables,
so force one entry.

gzip states in a comment:

The pkzip format requires that at least one distance code exists,
and that at least one bit should be sent even if there is only one
possible code.

disk/edisk: allow printing and readonly inspection of hybrid MBR/GPT disks (thanks aiju)

dumping hybrid MBR/GPT disks is fine, which can sometimes be found
on USB sticks. but prohibit editing.

however, always barf on disks with dos partitions and missing
protecive MBR partition entry.

realemu: fix precedence bug in argconv() format routine (thanks dan cross)

realemu: fix pit bcd mode

plan9.ini(8): 9boot(8) is not a DOS program, remove outdated BUGS section

devvga: properly handle physical screen size and panning

- remove arbitrary limits on screen size, just check with badrect()
- post resize when physgscreenr is changed (actualsize ctl command)
- preserve physgscreenr across softscreen flag toggle
- honor panning flag on resize
- fix nil dereference in panning ctl command when scr->gscreen == nil
- use clipr when drawing vga plan 9 console (vgascreenwin())

screenlock: put position check back in grabmouse (thanks deuteron)

the check was there because changing te position causes another
mouse event to get posted resulting in grabmouse spinning.

screenlock: have keyboard activity reset blank timeout

screenlock: avoid continuous blanking, draw fullscreen over border

screenlock: some improvements

check for "needkey " error string from auth_userpasswd() in case no
key is pesent in factotum. this used to be a common trap with stand
alone machines that do not have an authentication server setup.

indicate authentication in progress by drawing a white border.

delete unneccesary cruft and simplify the code.

libauth: replace proto=p9cr with new proto=dp9ik/p9sk1 role=login for auth_userpasswd()

auth/factotum: add role=login protocol variant to dp9ik/p9sk1

the role=login protocol is ment to replace proto=p9cr in
auth_userpasswd() from libauth to authenticate a user
given a username and a password. in contrast to p9cr, it
does not require an authentication server when user is the
hostowner and its key is present in factotum.

auth/login: add missing quotefmtinstall(), quote dom attribute

errstr(2): add /sys/src/libc/9sys/rerrstr.c to SOURCE section

screenlock: blank screen using /dev/mousectl (thanks sl)

libsec: make includes consistent for sha2block*.c

libsec: unroll portable sha1block function

just 6-10% slower than most assembly versions.
20% faster on zynq.

libsec: unroll portable sha2block functions

- unroll the loops
- rotate the taps on each step, avoiding copies
- simplify boolean formulas for Ch() and Maj()

this yields arround 40% throughput increase on 32/64bit
archs for sha2_256 and sha2_512 on amd64.

games/blit: update screen when display address changes (thanks aap)

vmx(1): fix openbsd 6.2 amd64 !entrystate bug

libsec: optimize aesCBCencrypt()/aesCBCdecrypt()

- get rid of the temporary copies and memmoves()
- when the data pointer is aligned, do xor and copying inline

speedup for auth/aescbc encryption depends on arch:

- zynq 7% (arm)
- t23 13% (386)
- x230 20% (amd64, aes-ni)
- apu2 25% (amd64, aes-ni)

cga: capture cga console contents on boot, make sure cgapos is in range

to capture bios and bootloader messages, convert the contents
on the screen to kmesg.

on machines without legacy cga, the cga registers read out as
0xFF, resuting in out of bounds cgapos. so set cgapos to 0 in
that case.

devvga: re-render text from kmesg after resize

spin: Update to most recent version. (thanks Ori_B)

from Ori_B:

There were a small number of changes needed from the tarball
on spinroot.org:

  - The mkfile needed to be updated
  - Memory.h needed to not be included
  - It needed to invoke /bin/cpp instead of gcc -E
  - It depended on `yychar`, which our yacc doesn't
    provide.

I'm still figuring out how to use spin, but it seems to do
the right thing when testing a few of the examples:

% cd $home/src/Spin/Examples/
% spin -a peterson.pml
% pcc pan.c -D_POSIX_SOURCE
% ./6.out

(Spin Version 6.4.7 -- 19 August 2017)
+ Partial Order Reduction

Full statespace search for:
never claim          - (none specified)
assertion violations +
acceptance   cycles  - (not selected)
invalid end states +

State-vector 32 byte, depth reached 24, errors: 0
40 states, stored
27 states, matched
67 transitions (= stored+matched)
0 atomic steps
hash conflicts:         0 (resolved)

Stats on memory usage (in Megabytes):
0.002 equivalent memory usage for states (stored*(State-vector + overhead))
0.292 actual memory usage for states
128.000 memory used for hash table (-w24)
0.534 memory used for DFS stack (-m10000)
128.730 total actual memory usage

unreached in proctype user
/tmp/Spin/Examples/peterson.pml:20, state 10, "-end-"
(1 of 10 states)

pan: elapsed time 1.25 seconds
pan: rate        32 states/second

libsec: write optimized _chachablock() function for amd64 / sse2

doing 4 quarterround's in parallel using 128-bit
vector registers. for second round shuffle the columns and
then shuffle back.

code is rather obvious. only trick here is for the first
quaterround PSHUFLW/PSHUFHW is used to swap the halfwords
for the <<<16 rotation.

libmach: fix format for 8db sse shift ops

6l: fix typo in optab table for APSLLQ (0x7e -> 0x73)

kernel: make isaconfig() consistent, not inplace tokenizing the conf string

inst/mounthjfs: use /dev/swap instead of #c/swap to determine memory size (thanks aap)