角藤先生は、
＞ もっとちゃんとした解があると思いますが...
と謙遜されてらっしゃいますが、Herbert Vo\ss, “Math mode -- v.2.44” (July 22, 2010) （← ctan にあります）でも、以下のようにしていますね (p. 102)。
\[
\left(
\begin{array}{ccccc}
1\\
& 1 & & \text{{\huge{0}}}\\
& & 1\\
& \text{{\huge{0}}} & & 1\\
& & & & 1
\end{array}
\right)
\]
\newfont で決め打ちしてしまいますと、NFSS に追随しないので、フォントを変えたりサイズを変えたりする度に定義を書き換える必要があります。