merge

acme: implement 'scratch' ctl command (thanks Drew DeVault)

The new command marks the target window as a scratch window -- a window
whose state cannot be "dirtied" by changes made to its body, therefore
avoiding warnings about unsaved changes when deleting the window or
exiting acme.

Existing examples of scratch windows are error, directory, and guide
windows, whose scratchness is set internally.

With the new command users and programs alike can create their own
scratch windows.  This is put to use in acme's own win(1).

kernel: remove unused segment argument in freepte()

pc, xen: make PAT support optional (for xen)

ape/libdraw: add missing eenter (thanks phil9)

imap4d: reject invalid month in date2tm()

rc: avoid forking for final command that has variable assignments (to get $apid right)

basically, we want the following commands to print
the same pid twice:

rc -c 'cat /dev/pid &;echo $apid'

vs:

rc -c 'a=1 cat /dev/pid &;echo $apid'

basically, Xsimple() calls exitnext() to determine if
a simple command should be promoted to exec, by peeking
ahead into the code and searching for Xexit instruction.

Xexit might not follow immediately after the Xsimple
instruction because of redirections, which exitnext()
would skip.

but it would not skip the Xunlocal instructions that
where added by the variable assignment.

ip/cifsd: add FIND_FIRST2 SMB_FIND_FILE_FULL_DIRECTORY_INFO info level

sshnet: prevent ssh process from keeping the mount alive

pc, pc64: fix wrong mtrr physmask() for machines without extended address size msr

awk: fix race condition with sub-mk in mkfile

the maketab helper program was generated in parallel, which
had a dependency to y.tab.h which lead to yacc running
twice in parallel.

this removes the dependency to y.tab.h in the virtual
maketab.$objtype target to prevent this race condition.

the dependency to y.tab.h is resolved in the main mk at the
$cputype.maketab target which serializes with the other
targets.

usbehci: release ctlr ilock before calling pollcheck()

merge

usbehci: avoid kproc() while holding poll lock

man(9): remove accidentally commited indices

merge

ip/tinc: accept udp connection from any udp source port

the remote host might be behind a NAT which translates the
source port, so if no host could be found, lookup the ip
address only.

paint: change colors in the palette with button 3

libaml: implement ToDecimalString and ToHexString operations

pc, pc64: do page attribute table (PAT) init early in cpuidentify()

the page attribute table was initialized in mmuinit(), which is
too late for bootscreen(). So now we check for PAT support and
insert the write-combine entry early in cpuidentify().

this might have been the cause of some slow EFI framebuffers on
machines with overlapping or insufficient MTRR entries.

libc/arm64: work arround linker bug for cas()

at the _cas0 label, the linker would generate spurious stack
adjustment before the return:

atexitdont+0x84 0x000000000003614c CLREX $0xf
atexitdont+0x88 0x0000000000036150 MOVW R31,R0
atexitdont+0x8c 0x0000000000036154 MOV (SP)16!,R30 <- ????????????
atexitdont+0x90 0x0000000000036158 RETURN

the work arround is to move the code into its own cas0
text symbol.

this fixes impossible cwfs crashes in srvi().

7l: handle dupok flag in TEXT/GLOBL data

Add stdbool.h to ape

in accordance with c99:7.16. Used by perl, trivial enough
that I feel ok with adding it before the port is fully done.

7l: fix mistake

#pragma ref no longer exists

It appears to be an antiquated form of 'USED(x)'

Fix scans of more than one character in %[]

This got broken in d8e877a89dae, where we returned 0 on the
first mismatch; we want to return 0 only when we consumed no
characters.

stop fiddling with path construction.

There's fd2path, which gives back the full path directly.
This makes the code even simpler.

fix yacc crash with absolute paths

When passing an absolute file path to yacc, we would skip
initializing inpath, leaving it null. This would cause Bopen
to die. We would similarly fail to report an error if we tried
to get the current working directory, and then die when
constructing inpath.

This fixes both cases.

ape: fix name clash, have to use _SLEEP syscall instead of ape sleep in plan9 code (thanks jamos)

this fixes etimer() from ape built libdraw as posix sleep() uses
seconds while plan9 uses miliseconds.

cc: dont export gethunk(), hunk, nhunk and thunk

cc: get rid of hunk pointer fiddling and just use alloc()

?l: remove direct hunk manipulation from linkers, just call malloc()

as with recent changes, cc's malloc() could make the hunk pointer
misaligned. in the the compilers, the hunk pointer is used directly
by the lexer with no effort to to keep the hunk pointer aligned.

alloc/malloc still return aligned pointers, but hunk itself can
be on a odd address after allocation of a odd sized amount of bytes.

however, in the linkers, this assumption appears to be differnet. as
most allocations mostly allocate padded structures. however, symbol
lookup allocates strings on byte-size ganularity and the cc's malloc
would misalign the hunk pointer after the malloc() call. while the
rest of the code assumed hunk pointer was always aligned.

this change removes all the hunk pointer fiddling from the linker,
and we just call malloc() (which will use the fast implmenentation
of cc, and should not really make much of a performance difference).

[ape] add missing conversion flags for scanf

We're missing type flags for:

hh: char
ll: vlong
z:  size_t
t:  ptrdiff_t
j:  intmax_t

The lack of '%lld' was causing us to fail when parsing
timezone files. This brings us in line with the specifiers
in the C99 standard, section 7.19.6.2p11

devip: fix ifc recursive rlock() deadlock

ipiput4() and ipiput6() are called with the incoming interface rlocked
while ipoput4() and ipoput6() also rlock() the outgoing interface once
a route has been found. it is common that the incoming and outgoing
interfaces are the same recusive rlocking().

the deadlock happens when a reader holds the rlock for the incoming interface,
then ip/ipconfig tries to add a new address, trying to wlock the interface.
as there are still active readers on the ifc, ip/ipconfig process gets queued
on the inteface RWlock.

now the reader finds the outgoing route which has the same interface as the
incoming packet and tries to rlock the ifc again. but now theres a writer
queued, so we also go to sleep waiting four outselfs to release the lock.

the solution is to never wait for the outgoing interface rlock, but instead
use non-queueing canrlock() and if it cannot be acquired, discard the packet.

kernel: fix checkpages() and segflush() on SG_PHYSICAL type segments

do not touch s->map on SG_PHYSICAL type segments as they do
not have a pte map (s->mapsize == 0 && s->map == nil).

also remove the SG_PHYSICAL switch in freepte(), this is never
reached.

merge

acme: add missed error checks

merge

usbxhci: fix wrong control endpoint 0 output device context address

the calculation for the control endpoint0 output device context
missed the context size scaling shift, resulting in botched
stall handling as we would not read the correct endpoint status
value.

note, this calculation only affected control endpoint 0, which
was handled separately from all other endpoints.

fix '%[]' specifiers and '%n' (thanks phil9)

When a match() fails, we need to unget the character we
tried to match against, rather than leaving it consumed.

Also, we can't break out of a conversion before we reach
the end of a format string, because things like the '%n'
conversion do not consume anything, and should still be
handled.

nusb/kb: add quirks for Elecom HUGE trackball

As said in the code comment:

Elecom trackball report descriptor lies by
omission, failing to mention all its buttons.
We patch the descriptor with a correct count
which lets us parse full reports. Tested with:
Elecom HUGE (M-HT1DRBK, M-HT1URBK)

The descriptor fixup is adapted from Linux kernel:
drivers/hid/hid-elecom.c
in which a more detailed account of why and how this
works may be found.

A followup change to nusb/kb will be needed to expose
these additional events for potential remapping.

merge

bcm64: fix kernels cmpswap() function

spectacular bug. cmpswap() had a sign extension bug
using sign extending MOV to load the old compare
value and LDXRW using zero extension while the CMP
instruction compared 64 bit registers.

this caused cmpswap with negative old value always
to fail.

interestingly, libc's version of this function was
fine.

fix typo: mouse->xy, not w->mc.xy

aux/getflags: remove rogue debug print

bring stdint.h closer to spec

C99 requires that if intXX_t types are defined, int_fastxx_t and
int_leastxx_t types are defined as well. We define all three to
be identical (intXX_t == int_fastXX_t == int_leastXX_t).

aux/getflags: improve flagfmt parser

This makes the flagfmt parser more robust and accepting
a looser input language — namely by allowing whitespace
around specifier fields and ignoring any empty fields.

Long flagfmts can thus be pleasingly displayed:

flagfmt='
a, b, c, C:cache,
m:mtpt mountpoint,
s:srvn srvname'

Reset click count on mouse motion.

tmac.eai: wrapper around -me: auto indexing sections, .TC macro (thanks sirjofri)

add missing /sys/lib/tmac/me files (thanks sirjofri)

make bind(2) error handling consistent

The mount() and bind() syscalls return -1 on error,
and the mountid sequence number on success.

The manpage states that the mountid sequence number
is a positive integer, but the kernels implementation
currently uses a unsigned 32-bit integer and does not
guarantee that the mountid will not become negative.

Most code just cares about the error, so test for
the -1 error value only.

libdraw: fix mount() error handling in newwindow()

sed: accept and ignore -E and -r flags for unix compatibility

ip/cifsd: implement primitive per-share unix id mapping for wstat()

merge

ether82543gc, ether82557, ethervirtio: do kproc() call ouside of spinlock

use #error when missing define

This makes it easier to figure out what's going wrong when
we forget to define _POSIX_SOURCE.

merge

facelift for mothra: flat ui is in.

Remove false 3d, add borders for visual separation between
content area and navigation area.

libsec/base58enc: null-terminate the result

missing headers rate a FATAL.

lib9p: reject reads on closed fids and writes on directories

mischief provided the following test that shows the issue:

ramfs -S crash

aux/9pcon /srv/crash <<EOF
Tversion 8192 9P2000
Tattach 0 -1 $user ''
Tcreate 0 dir 020000000777 0
Tattach 5 -1 $user ''
Twalk 5 6 dir
Tread 6 0 512
EOF

the problem is that lib9p wrongly allowed reads on closed fids,
due to the permission check only considering the lower 2 bits.
a closed fid has fid->omode == -1 and it would pass on read for:

(-1 & 3) == 3 == OEXEC

the following change explicitely checks for for the closed case
and also rejects writes on directories (they are rejected on
open/create, but a broken 9p client could still issue the request).

merge

kernel: improve page reclaimation strategy and locking

when reclaiming pages from an image, always reclaim all
the hash chains equally. that way, we avoid being biased
towards the chains at the start of the Image.pghash[] array.

images can be in two states: active or inactive. inactive
images are the ones which are not used by program while
active ones aare.

when reclaiming pages, we should try to reclaim pages
from inactive images first and only if that set becomes
exhausted attempt to release text pages and attempt to
reclaim pages from active images.

when we run out of Image structures, it makes only sense
to reclaim pages from inactive images, as reclaiming pages
from active ones will never free any Image structures.

change putimage() to require a image already locked and
make it unlock the image. this avoids many pointless
unlock()/lock() sequences as all callers of putimage()
already had the image locked.

mothra: fix a few errors in previous patch

- nil check pl_blue allocation, and don't do it every time pl_rtdraw is called
- fix re-adding previously removed flushimage calls
- correct format for pointer
- sysfatal in pl_drawinit on error

copy all the tokens from the tokenrows with a paste.

if we do 'CAT(foo bar, baz quux)', the resulting token row
should have 3 tokens: 'foo', 'barbaz', 'quux'.

tested by jonasa, rebuilding /sys/src, perl, netsurf, and nuklear.

add missing header change (thanks qwx)

Support for neo2 keyboard layout

Modify aux/kbdfs to work with neo2 layout.
- add new modifier, increase limit on layers.
- Add Kaltgr for mod3
- Add mod4

This change only implements the alphanumeric
block of the keyboard in the kbmap, as neo2
is mainly used for blind typing and is not
needed that much anywhere else, this leaves
the numpad like it is.

(Thanks, jstsmthrgk@jstsmthrgk.eu)

mothra: make user interface monochrome

mothra: remove extraneous lines and decoration (fake 3d). patch extracted from my forked mess by Ori_B.

tweak selection criteria

grow selection from point of click, not start of selection region.
starting at the beginning of the selection region causes the match
logic to kick in, which is confusing.

cc: simplify macexpand() and off-by-one error

the caller of macexpand() needs one more byte in
the buffer to append peekc.

make macexpand() actually check for buffer overflow.

just use strdup() to duplicate include file name
instead of the hunk dance.

move GETC() macro in cc.h

fix typos in time calculation

the results of the time calculation were garbled -- and
apparently negative on my system when testing, so the
test passed when it shouldn't have.

Backed out changeset 2737b9af622b

not what I wanted to commit.

fix typos in time calculation

the results of the time calculation were garbled -- and
apparently negative on my system when testing, so the
test passed when it shouldn't have.

Bump protocol version for Ttclick

triple click selection in acme

see the last 2 commits.

triple click selection in rio

same as sam and vt, three clicks selects a
whitespace-delimited line.

triple click selection in sam

three clicks selects a whitespace-delimited line.

acme/win: exit winfs once acme shuts down the window

pc, pc64: use softscreen double buffering for *bootscreen= framebuffer

it is probably almost always a good idea to use
double buffering with a unaccelerated framebuffer.

bcm, bcm64: dancing to the drum of the linux clowns for device tree memory size detection (thanks kenji)

looks like linux changed the device tree names for
the memory node:

https://github.com/raspberrypi/linux/commit/4b17654f51fd87c42cda3217b0863e6aa1df49b9#diff-ac03c9402b807c11d42edc9e8d03dfc7

this fixes the memory size detection with latest firmware
on raspberry pi4-b (4GB) for kenji.

/sys/man/1/mothra: add description of Plumb menu item.

mothra.c: add Plumb menu item, and update man page. my original changes sanity-checked by Ori_B.

rdhtml.c: restore original fonts. dejavusans was my change, my fault. it never looked right outside of drawterm on osx (mea culpa). this is easy to change for anyone who prefers something else, but it's difficult to imagine native users preferring our very fuzzy dejavusans to anything else.

remove unused macro from chan.c

samterm: don't scroll invisible (command) window (thanks umbraticus)

with scroll-wheel scrolling, this case can happen with the
command window:

umbraticus → cinap: create fullscreen file buffer by right-clicking in cmd window

merge

?a, ?c: fix macro debug prints

?c: get rid of sprint(), strcpy() and strcat()/strncat(), cleanup

[257]l: cleanup fmt routines, replace sprint()

cc: cc.h changes needed by previous commit

?a, cc: fix buffer overflows in built-in preprocessor (macbody)

add a buffer size argument to macexpand() and check for
overflow.

check for overflow when parsing #include directives.

?a: catch symb[NSYMB] buffer overflow in lexer, cleanup, assume thechar is a rune

cc: get rid of sprint() and temporary buffer for type conversion fuction

slookup() copies to symb, so use the symb[NSYMB] buffer directly
to declare type conversion functions and get rid of the arbitrary
sized local buffer. replace sprint() with snprint().

Make priority array max size explicit.

we were implicitly depending on UMINUS being the last entry
in the operator table -- that's fragile.

fix cpp operator associativity

We used to treat all operators as right associative,
which means that we would evaluate them incorrecty.
For example, '2 - 1 + 1' would evaluate as '2 - (1 + 2)',
instead of '(2 - 1) + 1'.

This adds an assoc parameter to struct pri, and then uses
it to decide how to evaluate operators.

merge

dont overflow the stack

when pushing expressions in cpp, particularly complex ones could
overflow the stack and silently corrupt our data structures. add
checks when we push, and bump the stack size up.

libmemdraw: remove inexistent build targets