生成AIを社内で使い始めた。
ChatGPTで文章を作る。
議事録をまとめる。
問い合わせ文を整理する。
資料のたたき台を作る。
最初は「便利だね」で始まります。
でも、少し時間がたつと、次の問いが出てきます。
結局、どれくらい効果があったのか。
使っている人と、使っていない人の差は何か。
時間は本当に減ったのか。
お客様対応の質は上がったのか。
このまま続けていいのか。
AI活用の相談でも、ここで止まる会社は多いです。
ツールを入れるところまでは進む。
でも、効果測定の話になると急に難しくなる。
売上が上がったか。
利益が増えたか。
問い合わせが増えたか。
そういう成果で見ようとすると、AIだけの効果なのか、他の施策の効果なのか分かりにくいからです。
JIPDECの 企業IT利活用動向調査2026 でも、生成AI活用では生産性向上や業務効率化への期待がある一方で、判断過程やAI利用の説明体制が論点として整理されています。
中小機構の 中小企業のAI等の利活用に係る実態調査（2026年3月） を見ても、導入後の課題として、担当者負荷、費用対効果、社内ノウハウ不足のような運用面が出てきます。
つまり、AI活用は「入れたら終わり」ではありません。
入れたあとに、どう使われ、どこで助かり、どこで困ったのかを残す必要があります。
僕は、AI活用の効果測定は、いきなり成果を見るより、まず運用ログから始めた方がいいと思っています。
AI活用の効果測定は、売上や利益だけを見る前に、どの業務で、何をAIに渡し、誰が確認し、結果どうなったかを残すことから始める。
今日は、中小企業や小規模事業者がAI活用を続けるための、運用ログと効果測定の考え方を整理します。
AI活用の効果測定は、いきなり成果を見ようとすると止まる
AI活用の効果測定と聞くと、最初に見たくなるのは大きな数字です。
売上が何パーセント上がったのか。
人件費がどれくらい減ったのか。
問い合わせ対応時間が何時間減ったのか。
もちろん、最終的には大事です。
仕事で使う以上、成果につながっているかは見たい。
ただ、AI活用の初期段階でいきなり大きな成果だけを見ると、かなりの確率で止まります。
理由は、AIの効果が単独で見えにくいからです。
たとえば、問い合わせ対応にAIを使ったとします。
返信文の下書きが速くなった。
でも、同じ時期にホームページも改善した。
営業資料も変えた。
担当者の慣れも出てきた。
季節要因もある。
この状態で「問い合わせ増加のうち、AIの効果は何パーセントですか」と聞かれても、正直かなり難しいです。
いや、それを最初から完璧に分けられるなら、もう社内分析チームを作った方がいいレベルです。
小さな会社で最初にやるべき効果測定は、そこまで重くなくていいと思っています。
まず見るのは、成果そのものではなく、仕事の途中で何が変わったかです。
AIを使った業務は何か。
AIに渡した情報は何か。
出てきたものは、そのまま使えたのか。
人がどこを直したのか。
次に同じ業務をするとき、何を変えればよさそうか。
ここが残っていないと、効果測定の材料がありません。
以前書いた 中小企業の生成AI導入は、ツール選びより最初の業務テーマから考える でも、最初に決めるべきなのはツール名ではなく業務テーマだと整理しました。
効果測定も同じです。
どの業務テーマでAIを使ったのかが残っていないと、あとから振り返れません。
「なんとなく便利だった」
「たぶん時短になった」
「一部の人は使っている」
この状態だと、次の判断ができないんです。
続けるのか。
やめるのか。
広げるのか。
ルールを変えるのか。
外部に相談するのか。
この判断のために、運用ログが必要になります。
AI活用の効果測定は、大きな成果を証明するためだけのものではありません。
次にどこを直すかを決めるためのものです。
だから、最初は小さなログで十分です。
むしろ、小さく残す方が続きます。
最初に残す運用ログは「業務・入力・出力・確認・結果」
では、AI活用の運用ログには何を残せばいいのか。
最初から細かい項目を作りすぎると、たぶん続きません。
ログを残すこと自体が重くなります。
毎回10分も20分も入力しないといけないなら、現場はやらなくなります。
なので、最初は5つでいいです。
- 業務
- 入力
- 出力
- 確認
- 結果
この5つです。
「業務」は、何の仕事にAIを使ったかです。
問い合わせ返信。
議事録整理。
ブログ構成。
営業資料のたたき台。
FAQ案の作成。
社内マニュアルの整形。
ここが曖昧だと、あとから見返しても何の話だったか分かりません。
「入力」は、AIに何を渡したかです。
顧客名を入れたのか。
匿名化した文章だけ入れたのか。
社内資料を貼ったのか。
公開情報だけを使ったのか。
ここは安全面でも大事です。
総務省・経済産業省の AI事業者ガイドライン第1.2版 でも、AIの活用では透明性やトレーサビリティを含めた管理が重視されています。
小さな会社の実務に置き換えるなら、「何をAIに入れたか」をざっくり残すことです。
「出力」は、AIから何が返ってきたかです。
返信文。
要約。
分類。
チェックリスト。
構成案。
「確認」は、人がどこを見たかです。
事実確認をした。
言い回しを直した。
お客様情報を削った。
金額表現を確認した。
社外に出す前に上長が見た。
最後が「結果」です。
そのまま使えたのか。
一部修正して使えたのか。
使えなかったのか。
次回はプロンプトを変えた方がいいのか。
これだけ残れば、かなり振り返れます。
たとえば、問い合わせ返信で毎回言い回しを直しているなら、会社のトーンがプロンプトに入っていないのかもしれません。
議事録要約で毎回重要な決定事項が抜けるなら、会議メモの型が足りないのかもしれません。
資料構成で毎回長くなりすぎるなら、読み手やページ数の条件が曖昧なのかもしれません。
運用ログは、AIを監視するためだけのものではありません。
AIに渡す仕事を、社内で言語化するための道具です。
ここはカタチ舎が大事にしているところでもあります。
AI活用がうまくいく会社は、プロンプトだけが上手いのではなく、仕事の目的、入力、確認ポイントを言葉にできています。
ログは、その言語化を日々残す場所です。
指標は売上より先に「時間・手戻り・安心感」で見る
運用ログを残したら、次に見るのは指標です。
ここでも、いきなり売上や利益だけにしない方がいいです。
AI活用の初期指標として見やすいのは、次の3つです。
- 時間
- 手戻り
- 安心感
まず「時間」です。
これは分かりやすいです。
議事録作成に毎回1時間かかっていたものが、AIを使って30分になった。
問い合わせ返信の下書きに20分かかっていたものが、10分になった。
資料の構成案をゼロから考える時間が減った。
ただし、時間だけを見ると危ないこともあります。
速くなったけど、あとで直す時間が増えた。
確認漏れが増えた。
お客様に出す文章の温度感が雑になった。
これでは、見かけの時短です。
だから、2つ目に「手戻り」を見ます。
AIが出したものを、人がどれくらい直したか。
同じミスが繰り返されていないか。
確認者から差し戻しが多いか。
出力の形式が毎回バラバラではないか。
AI活用の効果は、出力が速いことだけではありません。
人が使える状態に近づいているかが大事です。
そして3つ目が「安心感」です。
少しふわっと聞こえるかもしれません。
でも、実務ではかなり重要です。
担当者が「これなら使える」と思えるか。
社外に出す前に見るポイントが明確か。
個人情報や契約条件を入れないルールが守れているか。
迷ったときに止まる場所があるか。
AI活用は、不安なままだと広がりません。
便利そうだけど怖い。
間違えたらどうしよう。
どこまで任せていいか分からない。
この状態だと、現場はだんだん使わなくなります。
逆に、多少時間短縮が小さくても、安心して使える型ができてくると、継続しやすいです。
効果測定という言葉にすると、どうしても数字だけを見たくなります。
でも初期段階では、数字にする前の変化も見た方がいいです。
時間が減った。
手戻りが減った。
確認ポイントが見えた。
担当者が迷わなくなった。
このあたりが揃ってくると、AI活用は「試しただけ」から「業務に入った」に変わります。
ログがあると、AIに任せる範囲と人が見る範囲を直せる
AI活用で大事なのは、最初から正しい範囲を決めることではありません。
使いながら、任せる範囲と人が見る範囲を直していくことです。
このとき、運用ログがないと感覚で話すことになります。
「なんか危ない気がする」
「けっこう便利だった」
「あの人は使っているらしい」
「たぶん大丈夫」
感覚も大事です。
でも、運用を変える材料としては弱いです。
たとえば、ログを見ると、問い合わせ返信では次のような傾向が見えるかもしれません。
要約はほぼ使える。
返信文の下書きも半分くらい使える。
ただし、料金や納期の話になると修正が多い。
個別事情が含まれる相談では、AIが一般論に寄りやすい。
この場合、AIに任せる範囲はこうできます。
問い合わせ内容の要約はAIに任せる。
返信文のたたき台も作らせる。
でも、料金、納期、契約条件、個別提案は人が必ず確認する。
送信は人が行う。
このように線引きができます。
以前書いた AIエージェント導入前に決めたい権限設計 に近い話です。
AIに何を読ませるか。
何を作らせるか。
何を送らせないか。
どこで人が止めるか。
運用ログがあると、この境界を現実の仕事に合わせて直せます。
逆にログがないと、過剰に怖がるか、過剰に任せるかのどちらかになりやすいです。
全部禁止する。
または、便利だから何でもやらせる。
どちらも極端です。
小さな会社のAI活用では、ちょうどいい線引きを育てることが大事です。
最初は、AIに下書きだけ頼む。
慣れてきたら、分類も頼む。
よくある問い合わせだけテンプレート化する。
外部送信や削除はさせない。
個人情報を含むものは匿名化してから扱う。
このように段階を切る。
その判断材料として、ログを使う。
AI活用は一度ルールを決めて終わりではありません。
ログを見ながら、任せる範囲を少しずつ調整する仕事です。
週1回の振り返りで、使い方を増やすより失敗を減らす
運用ログを残しても、見返さなければ意味がありません。
とはいえ、毎日きっちり分析する必要もありません。
小さな会社なら、最初は週1回、15分でいいと思っています。
見る項目はシンプルです。
- 今週AIを使った業務は何か
- 使えた出力はどれか
- 使えなかった出力はどれか
- 同じ修正が繰り返されていないか
- 次週変えることは1つだけ何か
ポイントは、使い方を増やすことを目的にしすぎないことです。
AI活用を始めると、つい「もっと使える業務はないか」と探したくなります。
もちろん、新しい用途を見つけるのは大事です。
でも、最初から広げすぎると、運用が散らかります。
議事録もやる。
問い合わせもやる。
SNSもやる。
資料もやる。
経理もやる。
採用もやる。
全部に少しずつAIを入れた結果、どれも定着しない。
これはよくあります。
だから、週1回の振り返りでは、まず失敗を減らします。
毎回修正している表現をプロンプトに入れる。
よく抜ける確認項目をチェックリストにする。
入力してはいけない情報を明確にする。
出力形式を固定する。
人が見るポイントを1枚にまとめる。
こういう地味な改善を積み上げます。
以前書いた 生成AIの業務自動化は、いきなり連携より社内メモの型化から始める と同じです。
いきなり自動連携に進む前に、毎回同じ形で残すメモを作る。
AI活用の運用ログも、そのメモの延長です。
週1回の振り返りで見るべきなのは、「AIを何個使ったか」ではありません。
同じ迷いが減っているか。
同じ修正が減っているか。
担当者が使いやすくなっているか。
ここです。
AI活用は、派手な導入より、続く改善の方が強いです。
使い方を増やす前に、いま使っている業務の失敗を減らす。
この順番の方が、社内に残ります。
30日分の運用ログから、次に内製化する業務を決める
運用ログが30日分くらい集まると、かなり見えてくるものがあります。
どの業務でAIが使われやすいか。
どの業務では使われていないか。
どの担当者が困っているか。
どの出力はそのまま使えるか。
どこで確認が重くなっているか。
どの業務なら、次に型化できそうか。
ここまで来ると、次に内製化する業務を決めやすくなります。
たとえば、30日分のログで次のようなことが分かったとします。
問い合わせ要約はよく使われている。
返信文は修正が多い。
議事録からのタスク抽出は精度が高い。
ブログ構成は便利だが、事業の言葉に直す作業が必要。
社内マニュアル整形は担当者の負担が減っている。
この場合、次に内製化しやすいのは、問い合わせ要約や議事録タスク抽出かもしれません。
反対に、返信文の完全自動化はまだ早いかもしれません。
こういう判断ができます。
前回書いた 外注依存からAI内製化へ移すロードマップ では、AI内製化は外注をやめることではなく、社内に残すものを決めることだと整理しました。
今回の話で言えば、運用ログは「社内に残すもの」の中心になります。
どの業務にAIを使ったのか。
どんな入力でうまくいったのか。
どこで人が見たのか。
どんな失敗があったのか。
次に何を直すのか。
これが残っていると、外部パートナーに相談するときも話が早くなります。
「AIを活用したいです」ではなく、
「この業務で30日試しました」
「要約は使えました」
「返信文は料金表現で修正が多いです」
「ここを社内ルール化したいです」
こう言えるようになります。
この差は大きいです。
相談を受ける側も、かなり具体的に支援できます。
AI活用の効果測定は、報告書を作るためだけの作業ではありません。
次にどの業務を内製化するかを決めるための材料です。
最初は、完璧なKPIより、続く運用ログ。
売上への影響を見る前に、時間、手戻り、安心感を見る。
そして30日分のログから、次の業務テーマを1つ選ぶ。
このくらいの粒度なら、小さな会社でも始めやすいです。
AI活用を「便利だった」で終わらせず、社内の力に変えていきたいなら、まずログから始めてみてください。
もし、AI活用の運用ログや効果測定の型を、自社の業務に合わせて作りたい場合は、カタチ舎のお問い合わせ から相談してください。
業務の棚卸し、入力ルール、AIに任せる範囲、人が確認するポイントまで、実際に続けられる形に整理します。
Author
村上龍平
カタチ舎代表。言葉、生成AI活用、資料・Web制作を行き来しながら、事業の考えを届く形へ整理しています。