top of page

AIの未来をリードする—メルマガ登録で最新情報をゲット!

AIの未来をリードする
メルマガ登録で最新情報をゲット!

AIの最新トレンドや活用事例、業界の動向を配信します。
・2週間に1回配信します
・メルマガの購読はワンクリックで解除できます
・メールアドレスが第三者に共有されることはありません

AI料金の値下げが「キャッシュだけ」だった理由

3 時間前
読了時間: 4分
同じ積み木で組んだ2つの塔。左は下から順に揃って積まれ、右は下の段の並びが違うまま傾いているイラスト

9月1日、Anthropic が Claude Fable 5.1 を出した。入力 $10 と出力 $50 は据え置きで、下げたのはキャッシュ読み取りだけ。100万トークンあたり $1.00 が $0.25 になっている。


Anthropic はこれで請求が全体で25〜45%下がると説明している。ただし、その25%を受け取れる会社と、1円も受け取れない会社に割れる。


キャッシュ読み取りという料金項目

前に処理した前置きを、もう一度計算せずに使い回すときの料金だ。社内ルールや用語集を毎回頭に付けて投げる使い方で効いてくる。


挙げられた幅にも内訳がある。一般的な業務の使い方で25%前後、道具を繰り返し呼び出すエージェント的な使い方で45%近く。同社は、揃った前置きを何度も渡す会社ほど大きく下がる値付けを選んだ。


なので、下がるかどうかは自社の運用で決まる。


キャッシュが効く範囲

担当者Aが用語集から貼り始めて、担当者Bが依頼文から貼り始める。この2人の請求は同じにならない。


プロンプトキャッシュが効くのは、先頭から一致している部分までだ。途中や末尾が同じでも、先頭が違えば効かない。Ubie の開発者が Zenn に書いた「Prompt Caching を完全に理解して LLM コストを爆裂に下げる」で、この一点をいちばん強く押している。自分もここを読んで、運用側の話だと腹をくくった。


だから同じ手順書を配っていても、貼る順番が人によって違えば料金は下がらない。同じ会社の中で、担当者の数だけキャッシュが割れる。


割れているかどうかは、請求書を見ても分からない。分かるのは、全員が同じ順で貼っているかどうかを確認したときだけだ。


先頭に置いてはいけないもの

毎回置くものを決めてもらうと、支援している会社ではだいたい直近の似た事例が先頭に入る。参考になるものを最初に見せたい、という発想からそうなる。


事例は毎回変わる。変わるものを先頭に置いた瞬間、そのうしろは全部キャッシュから外れる。順番のルールは1つで、変わらないものから先に置く。


自分が伴走先に渡しているのは2つだけだ。会社の前提(誰が何をやっている会社か、何を守らないといけないか)と、社内で通じる用語の一覧。この2つを毎回同じ順で先頭に置いて、その日の依頼と資料はそのあとに続ける。


3つ目を足したくなったら、それが毎回同じかどうかを先に確かめてほしい。


月額プランしか使っていない会社の場合

「うちは API を直接使っていない。ChatGPT や Claude の月額を払っているだけだ」。料金の話としては、そのとおりだ。今回の値下げは月額プランに1円も降りてこない。


それでも順番を固定する意味は残る。長い前提を毎回打ち直す時間が消えるからだ。伴走先の3社で、依頼を出す人に貼り始めから送信までを何度か計ってもらったら、1回あたり2〜3分、依頼の多い人で週に1時間近く違った。


もうひとつ、同じ前置きから始めた依頼は、返ってくる答えのばらつきが小さい。新人が貼っても、ベテランが貼ったときに近いものが返る。


料金で効くのは API を使う会社だけだが、打ち直しの時間と答えの揃い方は契約の形に関係なく効いてくる。中小企業にはこの後者のほうが大きいと自分は見ている。


磨く順番

指示文の言い回しを直し続けている現場を、この1年でいくつも見た。「もっと丁寧に」「表形式で」と付け足しては消して、また付け足す。


そこは後回しでいい。先に、いちばん頻度の高い依頼を1つ選んで、その前に毎回置くものと並べる順番を決める。1枚に書いて、次から全員がその順で貼る。


順番が揃っていない状態で文面だけ磨いても、人が変わると再現しない。6月に、モデルそのものより周りの仕組み(ハーネス)のほうが効くという記事を書いた。あのときは性能の話だったが、Anthropic は同じことを値段で言ってきた。


据え置かれた $10 と $50

値下げの中身は、据え置かれた入出力の単価のほうにある。$10 と $50 が動かなかったということは、渡す量そのものを減らしても請求は下がらない。削れるのは、同じものを毎回どう渡すかの側だけだ。


来週の会議で決めることは1つでいい。いちばん多い依頼の前に、何を、どの順で置くか。API を使っているなら来月の請求で、使っていないならやり直しの回数で差が出る。


担当者ごとに貼り方が割れている自覚があるなら、30分の無料相談で最初の1枚を一緒に作っている。手ぶらで来てもらって構わない。

コメント


b367c377-a8c4-411a-a21e-e5d603bcd498 (1).jpg

スノーリーズ株式会社​

代表取締役

石黒翔也

​執筆者プロフィール

約7年間にわたりモバイルアプリケーションやWebアプリケーションの開発、AzureやAWSを活用したサーバー構築に従事。

その後、2021年にスノーリーズ株式会社を設立し、AIで問い合わせ業務の効率化を実現する「AIbox」を開発。

AIboxは最新のRAG技術(Retrieval-Augmented Generation)を活用し、問い合わせ業務に課題を抱える企業に採用されています。

現在は、企業の技術顧問としても活動しながら、AIやクラウド技術の普及に取り組んでいます。

bottom of page