Usage: jbibtex [option] auxfile
-min-crossrefs=INTEGER minimum number of cross-refs required
for automatic cite_list inclusion (default 2).
-terse do silently.
-version print version information and exit.
-help print this message and exit.
-kanji={jis|euc|sjis|utf8} kanji code for output-file.
なので、オプションで文字コードを指定できます。
が、TeXShopのエンジン欄でオプションまで指定できたかどうかは知りません。それがダメなら、
#!/bin/sh
jbibtex -kanji=sjis $*
のようなシェルスクリプトをjbibtex-sjisとでもネーミングしておいて、それをエンジン欄で指定したらどうでしょう？