一般フォーラム

1．商、余りを求めるのに \sage{10 // 3}, \sage{10 % 3} では当然うま
くいきません。

% は \percent と書くという仕様のようです。なお、/ はLaTeXの特殊文字でないので // はそのまま書けます。

\sage{10 // 3}, \sage{10 \percent 3}

2．def による関数の定義がわかりません。

多分、test6.texにある

\begin{sageblock}
x=var('x')
def h(x):
    if x<2:
        return 0
    else:
        return x-2
\end{sageblock}

が失敗するのは何故か、ということでしょうか。この理由は「インデントをタブで入れている」からで、インデントをスペースで入れると成功するようです。

3．plot3d()がうまくいきません。

マニュアルをざっと見た限りでは、SageTeXの仕様は
「DVI出力の場合は（ドライバの種類に関わらず）EPS画像しかサポートしない」
ということのようです。plot3dはPNG画像を出力するため、DVI出力のpLaTeXでは使えないわけです。

エラーメッセージにある通り、PDF出力のエンジン（pdfLaTeXやLuaLaTeX）では成功するはずです。（pLaTeXでの対策については未調査。）