[2023-03-18] GPT-4のAPIが私のところにも来ました。以下のコードで "gpt-3.5-turbo"
を "gpt-4"
(8192トークン版)あるいは "gpt-4-32k"
(32768トークン版)にするだけで使えます。値段は1桁以上高くなって、入力は8k版が $0.03/1k、32k版が $0.06/1k、出力はその倍の値段です。
従来のOpenAIのAPIについてはOpenAIのAPIを使うで解説しています。
2023年3月2日(米国時間では1日)、OpenAI の ChatGPT の API が公開されました(Introducing ChatGPT and Whisper APIs)。費用は従来の text-davinci-003 の1/10の0.0002ドル/1000トークンと、非常にお値打ちです。
従来のAPIを使っていた人は何もせずに使えますが、そうでない場合は、まずこちらで登録してAPIキーを発行してもらわなければなりません。
APIの概要はOpenAIの Introduction および Chat をご覧ください。規約については API data usage policies をご覧ください。APIで送られたデータは学習用に使われることはありません。不正使用の監視のために30日間保持され、特に問題なければ消去されるようです。
Pythonのパッケージは pip install openai
でインストールできます。
APIキーは、プログラムに直接書き込まず、環境変数に設定しておくのが安全・便利です。MacやLinuxでは、ターミナルに
export OPENAI_API_KEY="sk-XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
と打ち込めば環境変数が設定されます。.bashrc
等に書き込んでおけばシェル起動時に設定されます。APIキーを書き込んだファイルは他人に見られないようにパーミッションを正しく設定しておきましょう。
使い方の基本は次の通りです:
import openai res = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "あなたは賢いAIです。"}, # 役割設定(省略可) {"role": "user", "content": "1たす1は?"} # 最初の質問 ], temperature=1 # 温度(0-2, デフォルト1) ) print(res["choices"][0]["message"]["content"]) # 答えが返る
ChatGPTのAPIは、質問・応答の履歴を記憶しません。以前の質問・応答を前提としたい場合は、次のように履歴を与えた上で質問をします:
res = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "あなたは賢いAIです。"}, # 役割設定(省略可) {"role": "user", "content": "1たす1は?"}, # 最初の質問 {"role": "assistant", "content": "2です。"}, # 最初の答え {"role": "user", "content": "それを3倍して。"} # 次の質問 ], temperature=1 ) print(res["choices"][0]["message"]["content"]) # 答えが返る
履歴と質問、答えを合わせて、4096トークンが上限です。トークンはほぼ単語に相当するものです(後述)。トークン数を表示するには、次のようにします:
print(res["usage"]["prompt_tokens"], # (履歴と)質問のトークン数 res["usage"]["completion_tokens"], # 答えのトークン数 res["usage"]["total_tokens"]) # 合計
合計が4096を超えることはありません。延々と会話を続けるには、不要な履歴を削除する必要があります。削除も含めて、簡単な会話を続けるには、例えば次のようにすればいいでしょう:
import openai msg = [{"role": "system", "content": "あなたは賢いAIです。"}] while True: prompt = input("> ").strip() if prompt in ["quit", "exit"]: break msg.append({"role": "user", "content": prompt}) res = openai.ChatCompletion.create(model="gpt-3.5-turbo", messages=msg) ans = res["choices"][0]["message"]["content"].strip() print(ans) msg.append({"role": "assistant", "content": ans}) if res["usage"]["total_tokens"] > 3000: msg.pop(1) msg.pop(1)
トークンはほぼ単語に相当する概念で、gpt-3.5-turbo や gpt-4 では tiktoken の cl100k_base というエンコーディングが使われています(→ OpenAI 言語モデルごとのエンコーディング一覧)。頻出単語は1トークン、そうでない単語は2トークン以上に分割されます。日本語の場合は、2〜3文字が1トークンになることも、逆に1文字が2〜3トークンに分割されることもあります。
pip install tiktoken
して試してみましょう:
import tiktoken enc = tiktoken.get_encoding("cl100k_base")
次の例で試してみましょう(山本義隆『熱学思想の史的展開』(現代数学社,1987年)より):
s = "「何人ものニュートンがいた(There were several Newtons)」と言ったのは,科学史家ハイルブロンである.同様にコーヘンは「ニュートンはつねに二つの貌を持っていた(Newton was always ambivalent)」と語っている."
e = enc.encode(s) for i in e: c = enc.decode([i]) if len(c) == 1 and ord(c) == 65533: # 65533は「�」 print(i, end="|") else: print(c, end="|") print()
次のように88トークンに分割されていることがわかります:
「|何|人|も|の|ニ|ュ|ート|ン|が|い|た|(|There| were| several| Newton|s|)|」|と|言|っ|た|の|は|,|科|学|5877|110|家|2845|237|イ|ル|ブ|ロ|ン|で|あ|る|.|同|162|100|246|に|コ|ー�|246|ン|は|「|ニ|ュ|ート|ン|は|つ|2243|255|に|二|つ|の|80631|234|を|持|って|い|た|(|Newton| was| always| amb|ivalent|)|」|と|45918|252|って|い|る|.|
英語はだいたい1語1トークンですが、直前のスペースも含めてトークンになっていることがけっこうあります。日本語はだいたい1文字1トークンですが、「様」のようにUTF-8の3バイトがそれぞれトークンになっている場合や、「ーヘ」の「ヘ」の最初の2バイトが「ー」とくっついて1トークンになっているような場合もあります。
ちなみに、同じ文字列をOpenAIの Tokenizer に入れると、GPT-3では120トークンになります。