AIの用途を決めるのは、モデルの賢さじゃなくレイテンシ。ローカルLLMが解禁する使い方

AIをどう使えるかを決めるのは、モデルの賢さじゃなくレイテンシだと自分は考えている。レイテンシは、依頼してから応答が返るまでの待ち時間のことだ。

2026年6月8日のApple WWDC26で、Appleが第3世代のオンデバイス基盤モデル（AFM 3 Core Advanced、20B＝200億パラメータのスパースモデル）を発表した。M3以降のMacやA18 Pro搭載のiPhoneといった手元の端末で、クラウドに通信せず20B規模のモデルが動く。ローカルLLM（端末内で完結する生成AI）が実用域に入ってきた、ということだ（techno-edgeの2026年6月9日の記事による）。

性能の話題として語られがちだけど、自分が注目しているのは別の点だ。同じ機能でも、待ち時間が2〜3秒から1秒未満に変わるだけで、それまで成立しなかった使い方が成立し始める。この記事では、レイテンシを軸にAIの用途を見直す。

ローカルだから速い、という当たり前の効き目

ローカルLLMで効いているのは、賢さじゃなく場所だ。クラウドのAIに依頼すると、入力を送り、サーバーで処理して、結果を受け取るまで通信が往復する。端末内で完結するローカル実行は、この往復がない。

この差が効くのは、待ち時間が体験を直接左右する操作だ。たとえば文字入力の変換や、英語から日本語への翻訳。YouTuberの瀬戸弘司さん（@eguri89）は、従来のIMEの代わりにAIでローマ字を日本語に変換する入力法を試して、「タイピング速度が爆速になります」と投稿していた。

逐一の変換をAIがまとめて引き受けるから、入力のリズムが途切れない。これはレイテンシが十分に小さいからこそ成り立つ。サーバーへの往復が挟まって毎回2〜3秒待たされたら、この「爆速」は消える。

自分の体感でも、こうした処理はサーバーを通すと2〜3秒かかっていた。ローカルLLMなら1秒未満に収まりえる。数字としては数秒の差だけど、対話的な操作ではこの差が決定的だ。

2秒の待ちは、対話を壊す

なぜ数秒が決定的なのか。対話的な操作では、待ち時間が人間の作業記憶とリズムを断ち切るからだ。

入力補完・変換・推敲みたいに、人間が手を動かしながらAIと往復する操作では、2〜3秒の待ちが入るたびに思考が中断される。一回なら気にならない。でも操作のたびに挟まると「使えない」という感覚に変わる。逆に応答が1秒未満なら、AIは作業の流れに溶け込んで、待っている自覚すら消える。同じ機能が、レイテンシだけで「便利な道具」と「煩わしい邪魔」に分かれる。

ここから一つの逆転が起きる。性能で測れば上位のクラウドモデルが、対話用途では速い小さなローカルモデルに負ける場面がある、ということだ。評価軸が「どれだけ賢いか」から「その操作がストレスなく成立するか」に変わるからだ。

「一番賢いモデル」より先に問うべきこと

ここは、以前に書いた「モデルは差し替えられるが、仕組みは差し替えられない」という主張と地続きだ（以前の記事）。価値の源泉をモデルの性能そのものじゃなく、その周辺の設計に置くべきだ、という考えだ。レイテンシは、まさにその周辺側の変数。モデルの賢さじゃなく、ローカルかクラウドかという配置で決まる。

だから企業がAIを業務に入れるとき、「一番賢いモデルは何か」を先に問うのは、用途によっては順序が逆だと自分は考えている。先に問うべきは「この用途で許容できるレイテンシは何秒か」だ。そのうえで配置を分ける。

• 夜間の文書要約やレポート生成みたいなバッチ処理は、待ち時間が成果に関係しない。ここは賢さ優先で、クラウドの大規模モデルが向く。

• 窓口対応の入力支援や、その場での変換・翻訳みたいな対話処理は、レイテンシが体験を決める。ここは速さ優先で、ローカルの小さなモデルが向く場面がある。

限界も正直に

ローカルLLMは万能じゃない。端末で動く規模のモデルは、大規模なクラウドモデルほど賢くないし、複雑な推論や長い文脈の処理には向かない。賢さが要る仕事を無理にローカルへ寄せると、速いが質の低い結果になる。

ただローカルには、賢さとは別軸の価値がある。低遅延に加えて、オフラインでも動くこと、そしてデータが端末の外に出ないというプライバシー上の利点だ。機微な情報を扱う業務では、この一点だけでローカルを選ぶ理由になる。

まとめ

AIの用途を、モデルの賢さだけで決めていないだろうか。

賢さは重要だけど、それは用途の一部しか説明しない。対話的な操作では、レイテンシが「使える」と「使えない」を分ける。ローカルLLMが20B規模まで実用域に入ってきたことの意味は、性能競争の一コマじゃなく、低遅延を前提にした新しい使い方が解禁されたことにある。一番賢いモデルを探す前に、その用途で許される待ち時間を先に決める。そこから配置を逆算するほうが、AIは現場で機能すると自分は考えている。

---

参考: 第3世代 Apple Foundation Model（AFM 3 Core Advanced、20B）の発表 — Apple WWDC26（2026年6月8日）。解説記事: techno-edge（2026年6月9日） https://www.techno-edge.net/article/2026/06/09/5162.html ／ AIでローマ字を日本語に変換する入力法の体験: 瀬戸弘司（@eguri89）のポスト https://x.com/eguri89/status/2064247678163403095