一般フォーラム

ご指摘ありがとうございます。

\if は、展開不可能なものが 2 個得られるまで、後続のトークンを
展開するんでしたね。すっかり忘れてました。何ともお恥ずかしい限り。

ということで、次のようになりますね。

\documentclass{jarticle}\relax

\makeatletter
\def\smallnote#1{%
    \def\smallnote@content{#1}%
    \futurelet\smallnote@next\smallnote@
}
\def\smallnote@{%
        \smallnote@switch
        \if@tempswa
            \let\smallnote@after=\inhibitglue
        \else
            \let\smallnote@after=\@empty
        \fi
        {\small （\smallnote@content）%
            \smallnote@after\relax
        }%
}
\def\smallnote@punct{。、．，（［「}% <-- 対象とする句読点類を書き並べる
\def\smallnote@switch{%
    \@tempswafalse
    \expandafter\@tfor\expandafter\reserved@a\expandafter:\expandafter=\smallnote@punct\do{%
        \if \reserved@a \noexpand\smallnote@next
            \@tempswatrue
        \fi
    }%
}
\makeatother

\begin{document}

あいう\smallnote{注}えお

あいう\smallnote{注}。


\begin{itemize}
  \item ほげほげ\smallnote{カッコ1}
  \item ほげほげ\smallnote{（カッコ2）}
\end{itemize}

\end{document}

本田さんもお書きになっているように \lastnodechar が新設された頃にこの種の処理をする
パッケージがあったなあと思って調べてみたら 2017年に fixjfm.sty というのが出ていましたね。
jsclasses にも「fixjfm パッケージによる修正の有無をチェックする」コードが入っていました。

%%%%%%%%%%%%%%%%%%
\ifx\DeclareFixJFMCJKTextFontCommand\@undefined
\DeclareRobustCommand\textmc[1]{%
    \relax\ifmmode \expandafter\nfss@text \fi{\mcfamily #1}}
\DeclareRobustCommand\textgt[1]{%
    \relax\ifmmode \expandafter\nfss@text \fi{\gtfamily #1}}
\fi
%%%%%%%%%%%%%%%%%%

しかし次の記述だけでもエラーが出るので、どうも \DeclareFixJFMCJKTextFontCommand には
問題があるようです。これは別の所に issue を立てるべきでしょうね。

%%%%%%%%%%%%%%%%%%
\RequirePackage{fixjfm}
\documentclass{jsarticle}
\begin{document}
\textgt{あ}
\begin{itemize}
\item a
\end{itemize}
\end{document}
%%%%%%%%%%%%%%%%%%

ここでは fixjfm パッケージの提供する \fixjfmspacing だけを拝借し、\DeclareTextFontCommand
の日本語対応をやりなおしてみました。これで \textgt{（ほげ）}\jsmall{（ほげ）} のように書体
変更が連続してもうまく行くようです。\fixjfmspacing だけだと \footnote{} で生じるアキに対応
できなかったので、本田さんのコードも混ぜました。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\RequirePackage{fixjfm}
\documentclass[uplatex]{jsarticle}
\makeatletter
\def\DeclareTextFontCommandJPii #1#2{%
  \@namedef{@\expandafter\@gobble\string#1}{%
    \let\inhibitglue@or@empty\@empty
    \ifx \temp@next \inhibitglue \let\inhibitglue@or@empty\unskip\fi
    \ifx \temp@next \unskip \let\inhibitglue@or@empty\unskip\fi
    \relax
    \ifmmode \expandafter\nfss@text \fi
    {#2\fixjfmspacing\temp@arg}\inhibitglue@or@empty\fixjfmspacing}%
  \DeclareRobustCommand#1[1]{%
  \def\temp@arg{##1}%
  \expandafter\expandafter\expandafter\futurelet\expandafter\expandafter\expandafter\temp@next\expandafter\csname @\expandafter\expandafter\expandafter\@gobble\expandafter\string\expandafter #1\expandafter\endcsname\romannumeral-`\Q
  }%
}
\makeatother

\DeclareTextFontCommandJPii{\jsmall}{\small}
\DeclareTextFontCommandJPii{\textgt}{\gtfamily}
% \DeclareFixJFMCJKTextFontCommand{\jsmall}{\small}%% これだとエラーが出る。
% \DeclareFixJFMCJKTextFontCommand{\textgt}{\gtfamily}%% これだとエラーが出る。

\begin{document}
\def\macrotest#1{#1}
\def\macrotesti#1{{（カッコ）}}
\def\macrotestii#1{\iftrue {#1}\fi}

\begin{itemize}
\item ほげほげ（カッコ）
\item ほげほげ\jsmall{（カッコ）}
\item ほげほげ\jsmall{\macrotest{（カッコ）}}
\item ほげほげ\jsmall{\macrotesti{（カッコ）}}
\item ほげほげ\jsmall{\macrotestii{（カッコ）}}
\end{itemize}

\begin{itemize}
\item ほげほげ（カッコ）。
\item ほげほげ\jsmall{（カッコ）}。
\item ほげほげ\jsmall{\macrotest{（カッコ）}}。
\item ほげほげ\jsmall{\macrotesti{（カッコ）}}。
\item ほげほげ\jsmall{\macrotestii{（カッコ）}}。
\end{itemize}

\begin{itemize}
\item ほげほげ（カッコ）\footnote{ほげ}
\item ほげほげ\jsmall{（カッコ）}\footnote{ほげ}
\item ほげほげ\jsmall{\macrotest{（カッコ）}}\footnote{ほげ}
\item ほげほげ\jsmall{\macrotesti{（カッコ）}}\footnote{ほげ}
\item ほげほげ\jsmall{\macrotestii{（カッコ）}}\footnote{ほげ}
\end{itemize}

\begin{itemize}
\item ほげほげ（カッコ）（かっこ）。
\item ほげほげ（カッコ）\textgt{（かっこ）}。
\item ほげほげ\jsmall{（カッコ）}\textgt{（かっこ）}。
\item ほげほげ\jsmall{\macrotest{（カッコ）}}\textgt{（かっこ）}。
\item ほげほげ\jsmall{\macrotesti{（カッコ）}}\textgt{（かっこ）}。
\item ほげほげ\jsmall{\macrotestii{（カッコ）}}\textgt{（かっこ）}。
\end{itemize}

\begin{itemize}
\item ほげほげ（カッコ）文字
\item ほげほげ（カッコ）\textgt{文字}
\item ほげほげ\jsmall{（カッコ）}\textgt{文字}
\item ほげほげ\jsmall{\macrotest{（カッコ）}}\textgt{文字}
\item ほげほげ\jsmall{\macrotesti{（カッコ）}}\textgt{文字}
\item ほげほげ\jsmall{\macrotestii{（カッコ）}}\textgt{文字}
\end{itemize}

\end{document}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%