\[ \] でエラーが出るという点は謎なままですが‥‥
ひょっとして、「\boxtimes ではサイズが気に入らず 2 倍にしたいのだが、
ベースライン基準で拡大されるとバランスが悪いので、中心軸基準で
拡大したい」ということでしょうか。
それならば次のような感じでどうでしょう。
\documentclass{article}\relax
\usepackage{amssymb,graphicx}\relax
\begin{document}
\[
x = \mathop{%<br /> \vcenter{\hbox{%<br /> \scalebox{2}{$\boxtimes$}%
}}
}_{i=1}^{{}_nC_m}a_i
\]
\end{document}