PandocのIssueで関連するのはこれですね。
unicode-mathの目的は「数式の文字を（従来のType1フォント群ではなく）OpenTypeフォントで出力する」ことなので、そこでamssymbを読み込むのは意味を成さない、というのは真っ当な議論でしょう。ただそうだとすると、自分の感想としては
「unicode-mathで\square命令が提供されないのが問題ではないか」
と思ってしまいます。
※ちなみに、「チェック付ボックス」を表す\boxtimesはunicode-mathで定義されています。
\boxtimes（U+22A SQUARED TIMES）と外観が揃うのはU+25A1（WHITE SQUARE）で、これのunicode-mathでの命令名は「\mdlgwhtsquare」のようです。
\documentclass[a4paper]{article}
\usepackage{unicode-math}
%\setmathfont{latinmodern-math.otf}%←既定
%\setmathfont{texgyrebonum-math.otf}
%\setmathfont{texgyredejavu-math.otf}%←揃わない
%\setmathfont{texgyrepagella-math.otf}
%\setmathfont{texgyreschola-math.otf}
%\setmathfont{texgyretermes-math.otf}
\begin{document}
$\boxtimes$ % U+22A0 SQUARED TIMES
$\mdlgwhtsquare$ % U+25A1 WHITE SQUARE
\end{document}
従って、自前で回避するのであれば、次のようにすればいいでしょう。
---
title: テスト
author: 某ZR
documentclass: bxjsarticle
classoption:
- pandoc
header-includes: |
\providecommand{\square}{\mdlgwhtsquare}
...
- [ ] ソレ
- [x] アレ