一般フォーラム

tcolorbox で freebox をカスタマイズし，丸括弧に見えるデザインの breakable box を作成するとよいと思います。

tcolorbox のマニュアルで freebox で検索してみると，参考になるサンプルコードが見つかるでしょう。

emathを利用するのが簡単だと思います。

cmex10 のフォントメトリックを変更して、
大きな括弧のつながりを変えたものを別のフォントとして
使うのが正攻法だと思いますが、
扱い方を決めるのが面倒なので、マクロで試してみました。
通常の大きな括弧とまったく同じフォントグリフを使っています。

下の例は手動でやる場合にはこんな風にできるという例ですが、
まあ何とかなりそうなので、
ページ分割位置での自動分割なども可能ではないかと思います。

\documentclass{article}

\nofiles

\begin{document}

$\mathchar"4330$
$\mathchar"4340$
$\mathchar"4342$

\vbox{\hbox{$\mathchar"4330$}\leaders\hbox{$\mathchar"4342$}\vskip 30pt}

\valign{#\vfil\cr
\hbox{$\mathchar"4330$}\leaders\hbox{$\mathchar"4342$}\cr
\vbox{\halign{$#$\cr y=x+1\cr y=2x+1\cr y=3x+1\cr y=4x+1\cr}}\cr
\hbox{$\mathchar"4331$}\leaders\hbox{$\mathchar"4343$}\cr
}

\end{document}

技術的な回答はそれなりの数がついたので，技術的ではない回答をします．

> 論文のページ数を出来るだけ減らしたく思ってます。

ということですが，論文ということならば，そもそもなぜそのようなページ内に収まらないような
括弧を書かなければならないのかを検討されるのがよいのではないかと思います．
単純に多次元のベクトルを書いているのならば，転置を使えば横に各要素を並べることができます．
そうでないとすれば，そのような縦方向の長い括弧は本当に必要なのでしょうか．

どういう用途なのかはわかりませんが，仮に投稿論文の原稿だとすると，
技術的な回答で一旦解決したとしても，受理する側の出版社がアクロバティックな
マクロの扱いに困るのではないかと危惧します．