dvipdfmx.def の 2016/07/02 v4.10 で、dvips.def と同様の
\AtBeginDocument{\AtBeginDvi{}}
を使った papersize special 機能が追加されました。
したがって、2016/07/01 より古い pLaTeX / upLaTeX を使用している場合、
縦組で graphicx や color の dvipdfmx オプションが
Incompatible direction list can't be unboxed.
なるエラーになります。最新版の pLaTeX / upLaTeX (2016/07/01) なら大丈夫です。
ギリギリのタイミングで更新していた (forum:1967) ので命拾いしました…