spotcolor.sty に対して、現状のpdftexに対する /Separation の実装をそのままdvipdfmxに対して同じアナロジーで実装すると、
(u)platex + dvipdfmxでも spotcolor.sty が使えることをすでに確認しております。
角藤さんがすでに示してくださったとおり、お手軽に試されるのであれば、
xespotcolor パッケージ https://ctan.org/pkg/xespotcolor
xespotcolor – Spot colours support for XELATEX
The package provides macros for using spot colours in LATEX documents.
The package is a reimplementation of the spotcolor package for use with XELATEX. As such, it has the same user interface and the same capabilities.
で十分だと存じます。