> nest_ptr=0 のときは \par が来るたびに current list の中身を
> current page に放り込んで空にしてしまうので，
（略）
> の if head=tail の判定だけだと不十分で，current page の
> 中身も見ないと自然な挙動にはならない，ということでしょうか．
あまり詳しく調査できていませんが，そうではないかと思っています．
なお，現行の tarticle.cls に
\DeclareOption{tate}{%
\AtBeginDocument{\showlists\tate\message{《縦組モード》}%
\adjustbaseline}%
}
と \showlists を追加し，
\showboxdepth10000\showboxbreadth1000
\documentclass{tarticle}
\begin{document}
\end{document}
をタイプセットすると，
### yoko direction, vertical mode entered at line 0
### current page:
\write-{}
と出力され，\tate 実行時には current page は非空であることが
わかります．そのため，もし nest_ptr=0 の場合の判定を
厳しくしようとすれば，tarticle.cls 等も変更する必要が出てきます．