ここに書かれているのと同じ現象だと思います。
https://github.com/texjporg/jsclasses/issues/61
すべて自動でうまく行くようにはできないので，
「必要に応じて \narrowbaselines してください」
という結論になっています。
\documentclass[uplatex]{jsbook}
\usepackage{amsmath}
\begin{document}
\[
\begin{pmatrix}
x & y
\end{pmatrix}
\]
$\narrowbaselines
\begin{pmatrix}
x & y
\end{pmatrix}
$
\end{document}
https://github.com/texjporg/jsclasses/issues/61
すべて自動でうまく行くようにはできないので，
「必要に応じて \narrowbaselines してください」
という結論になっています。
\documentclass[uplatex]{jsbook}
\usepackage{amsmath}
\begin{document}
\[
\begin{pmatrix}
x & y
\end{pmatrix}
\]
$\narrowbaselines
\begin{pmatrix}
x & y
\end{pmatrix}
$
\end{document}