ローマ数字に0はない，ですか．
https://tex.stackexchange.com/questions/211414/chapter-0-roman-numerals
など参照です．
\documentclass{jarticle}
\newcommand{\ZeroRoman}[1]{%
\ifcase\value{#1}\relax 0\else
\Roman{#1}\fi}
\renewcommand{\thepart}{\ZeroRoman{part}}
\setcounter{part}{-1}
\setcounter{section}{-1}
\begin{document}
\part{ゼロ}
\section{ぜろ}
\part{いち}
\end{document}
もしくは \thepart をアラビア数字にしてしまうという手もあると思います．