社内AIはクラウドかオンプレか｜情報の扱い・費用・運用で比べる選び方

社内のデータをAIで使えるようにしたい。けれど、クラウドのAIサービスに社内のデータを送ってよいのか、社内にサーバーを置いて動かすべきなのか、決めきれない。AIの導入を任されたDX・情シスの担当者から、こうしたご相談をよく伺います。

社内AI、クラウドとオンプレのどっちで作りますか？

全部社内に置いたら、更新や故障は誰が見るの？

データの守り方と、動かし続ける体制を、両方見て決める必要があります。

オンプレミス（オンプレ）は、自社の建物の中にサーバーなどの機器を置いて使う形です。データを外に出さない安心感がある一方で、機器の保守や更新を誰が受け持つかという問題が出てきます。この記事では、社内AIの3つの構成を、データの置き場所・外部に送る範囲・運用・費用・性能で比べ、自社に合う構成の選び方を説明します。

この記事のポイント

社内AIの構成は、クラウドのAIサービスを使う、社内にデータを置いて考える部分だけ外部のAIに送る、AIのモデルまで社内で動かす、の3つに分けて考える
3つの構成を、データの置き場所、外部に送るデータの範囲、更新や障害対応の担当、費用の出方、AIの性能の5つで比べる
外部に送れないデータがどれだけあるかと、社内で機器を保守できる体制があるかで、構成の候補を絞る

社内AIは3つの構成から、送れないデータと運用の体制で選ぶ

社内AIの構成は、クラウドかオンプレかの2つだけで考えると決めにくくなります。実際には、クラウドのAIサービスを使う構成、社内にデータを置いて考える部分だけ外部のAIに送る構成、AIのモデルまで社内で動かす構成の3つがあります。モデルとは、文章を読んで答えを作るAIの本体のことです。

どれを選ぶかは、外部に送れないデータがどれだけあるかと、社内で機器を保守できる体制があるかで絞れます。データを外に出さない構成ほど、更新や障害対応を社内か委託先で受け持つ範囲が広がります。

社内AIの3つの構成と、5つの観点での比較

まず、3つの構成がそれぞれどんな形なのかを整理します。違いは、社内のデータをどこに置き、AIがどこで考えるかです。

社内AIの3つの構成

クラウドのAIサービスを使うAIに読ませるデータも、AIの本体も、サービスを提供する会社の設備に置く。社内に機器を置かずに始められる
社内に置き、考える部分だけ送るデータは社内のPCやサーバーに置く。AIに考えてもらうときだけ、必要な部分を外部のAIに送る
AIのモデルも社内で動かすデータもモデルも社内の機器に置く。外部のAIにはデータを送らない

3つの構成を5つの観点で比べると、次のようになります。

観点	クラウドのAIサービス	社内に置き、考える部分だけ送る	モデルも社内で動かす
データの置き場所	提供会社の設備	社内のPC・サーバー	社内のPC・サーバー
外部に送るデータ	AIに読ませるデータを提供会社に預ける	質問と、答えに必要な部分の文字	送らない
更新・障害対応	AIの仕組みは提供会社。社内は利用者と権限を管理する	社内の機器は社内か委託先。AIの本体は提供会社	機器もモデルも社内か委託先
費用の出方	使った量に応じた料金が毎月かかる	社内の機器の費用と、使った量に応じた毎月の料金	機器を買う費用が最初にかかり、電気代と保守が続く
性能	提供会社の大きなモデルを使える	考える部分には外部の大きなモデルを使える	用意した機器で動く大きさのモデルになる

表は、3つの構成の一般的な違いをまとめたものです。

実際の範囲は、使うサービスの契約と、仕組みの設計によって変わります。

確かめる点が多いのは「社内に置き、考える部分だけ送る」構成です。データは社内に置いても、AIが考えるときには必要な部分の文字が外部に送られるからです。

データの置き場所と、外部に送る範囲で比べる

社内に置いて考える部分だけ送る構成では、社内のデータから質問に関係する部分を探し、その部分だけを質問と一緒にAIに渡します。社内のデータを探して答えの材料にする、検索拡張生成（RAG）と呼ばれる方法です（RAGの仕組み）。

社内に置いて、考える部分だけ外部のAIに送る構成（イメージ）

社内に置いたままのデータ

社内規程・マニュアル
過去の問い合わせと返信
商品の説明書き

外部のAIが考える質問と、答えに必要な部分の文字だけを受け取る

社内に残るもの

回答の下書き
参照した文書の箇所（根拠）

クラウドの提供会社にも、データを今の保存先に置いたまま、関連する部分だけをAIに渡す機能があります。Microsoftの公式ドキュメントでは、Azure OpenAIで自社のデータを使う機能について、データは指定した保存先に置かれたままだと説明しています。質問とAIの答えは、モデルの学習に使われないとしています。一方で、「グローバル」という種類の設定では、質問と答えは、そのモデルが置かれているどの地域でも処理されることがあると書かれています。

保存する場所と処理する場所は、別々に確かめる必要があります。個人データについては、個人情報保護委員会のQ&Aが、クラウドの利用が提供や委託にあたるかは、提供会社が個人データを取り扱うことになっているかで判断するとしています。契約で取り扱わないと決め、アクセスを適切に制御している場合などは、本人の同意や委託先の監督は求められません。

それでも、クラウドを使う会社は、自ら適切な安全管理措置を講じる必要があります。外国にある会社のクラウドを使い、そのサーバーに個人データを保存する場合は、その国の制度を把握したうえで措置を講じます。提供会社とサーバーがある国の名称や講じた措置を、本人が知り得る状態に置くことも求められます。

カレンダーの予定や商談の録音から、営業の記録を自動で書き上げる仕組みのご提案では、お客さまが顧客のデータを外部のサービスに預けることに抵抗をお持ちでした。そこで当社は、外部のAIに送るのは案件の状況をAIに判定させるときだけで、一時的に送り、送った先で保存も学習もしない設計だとご説明しました。どの構成でも、外部のAIに送るデータの範囲と、送るタイミングを、構成を決める前に書き出しておきます。

詳しく解説した記事コラム生成AIのセキュリティ対策｜情報漏洩を防ぐ設定と、社内で決めること生成AIのセキュリティ対策として、入力してよい情報の線引き、法人向け契約で確かめる3つのこと（学習・保存期間・管理者機能…

更新・障害対応・担当者で比べる

見落とされやすいのが、動かし始めた後の運用です。構成ごとに、誰が何を受け持つかを比べます。

運用の仕事	クラウドのAIサービス	社内に置き、考える部分だけ送る	モデルも社内で動かす
AIのモデルの更新	提供会社	提供会社	社内か委託先。新しいモデルに入れ替えて、答えを確かめ直す
機器の故障・停止への対応	提供会社	社内の機器は、社内か委託先	社内か委託先
利用者と権限の管理	社内	社内	社内

どの構成でも、利用者と権限の管理は社内に残ります。部署や役職ごとに見られる範囲を分け、異動や退職のときに権限を外す担当者を決めておきます。

止まったときの手順も、構成を決めるときに一緒に決めます。建設資材レンタルの会社へのご提案では、FAXで届く図面から数量を拾って見積もりを作る仕組みについて、システムが止まった日の業務が論点になりました。当社は、止まった日はこれまでの手順で仕事を続け、データは毎日バックアップを取る形をご提案しました。

当社が作る仕組みは、AIを置いたPCを止める、システムとのつなぎを外すといった操作で止められる設計にしています。保守では、データの変更や回答の訂正を反映し、新しいAIにも追従して安定して動く状態を保ちます。技術的な確認は、当社の技術責任者がお客さまの情報システム部門と直接進めます（導入支援の内容）。

費用の出方と性能で比べる

費用は、金額より先に、いつ・何に対してかかるかで比べます。クラウドのAIサービスは、社内に機器を置かない代わりに、使った量に応じた料金が毎月かかります。モデルまで社内で動かす構成は、機器を買う費用が最初にかかり、その後は電気代と保守の費用が続きます。

たとえばMicrosoftのAzure OpenAIの料金ページでは、入力と出力の量（トークン）に応じて、使った分だけ支払う形が示されています。トークンは、AIが文章を数える単位です。

性能は、動かすモデルの大きさで変わります。Googleが公開しているモデル「Gemma」の説明ページでは、パラメータ（モデルの規模を表す数）と精度が大きいモデルほど、一般に能力が高いとしています。その一方で、処理・メモリ・消費電力の面で、動かす費用が高くなるとも書かれています。

社内で動かす場合は、用意する機器の性能で、使えるモデルの大きさが決まります。社内に置き、考える部分だけ送る構成なら、社内の機器はPC1台や社内サーバーに収めつつ、考える部分には外部の大きなモデルを使えます。社内の機器の費用と、使った量に応じた毎月の料金の両方がかかります。

自社に合う構成の選び方

構成の候補は、2つの問いで絞れます。1つは、外部に送れないデータがどれだけあるかです。もう1つは、社内の機器を保守できる体制（委託先を含む）があるかです。

社内AIの構成の選び方

外部に送れないデータが多い ↑

社内に置き、考える部分だけ送るデータは社内に置き、外部に送る範囲を絞る。社内の機器の保守は委託先と分担する
モデルも社内で動かす構成を検討外部に送れないデータが中心で、機器とモデルの更新を受け持てる場合
クラウドのAIサービスから始める機器を置かずに始める。学習・保存期間・管理者機能を契約で確かめる
クラウドを基本に、一部を社内に置く外部に送れないデータがある業務だけ、社内に置く形を組み合わせる

社内で機器を保守できる体制がある →

どの枠に入るかは、社内規程で決まることが多くあります。食品メーカーの情報システム部門へのご提案では、全社員分のアカウント発行や、毎日のデータの書き出しを自動にする仕組みを考えました。こうした管理の仕事が、特定の担当者に集中していた会社です。

このご提案では、AIを動かす場所を、社内の端末、AIの提供会社が管理するクラウド、自社で契約しているクラウドの3つから、社内規程に合わせて選べる形にしました。社内規程で、外部に送れるデータと送れないデータを先に分けておくと、構成は絞りやすくなります。

外部に送れないデータが中心なら、社内に閉じた構成も選べます。当社が構築した通販・ECの社内QAとコールセンターでは、社内に専用機を置き、社内ネットワークから切り離した構成で構築しました。答えられるのがベテラン2名だけという状態を解消し、問い合わせの約50%を占める電話の内容も分析できるようになりました。

決めきれない場合は、試す段階で比べる方法もあります。通販会社へのご提案では、お客さまへの返信の下書きや商品知識の検索を作る計画で、試運転のときに、社内で完結させる構成と外部のAIを併用する構成を比べることにしました。社外秘として分けたデータが決めた範囲の外に出ないことも、試運転で確かめます。

構成を決める前に、社内で決めておくこと

外部のAIに送れないデータの種類（社内規程に合わせて）
個人データを扱うか。扱うなら、保存する国と処理する地域
外部に送るデータの範囲と、送るタイミング
機器とAIのモデルを更新する担当者（社内か委託先か）
止まったときに、仕事を続ける手順
使う人数と、使う量の見込み

マスターブレインを活用した、置き場所を選べる社内AI

マスターブレインは、会社にあるさまざまな情報・業務知識・判断基準を整理し、必要な場面で活用できるように設計する、会社専用のAI基盤です。

御社のPCや社内サーバーの中に構築する形も選べ、社内ネットワークから切り離した構成での構築実績もあります。御社のデータを外部のAIの学習に使うことはなく、決算や財務など一般の社員が見てはいけない情報は、そもそも読み込ませない線引きをします。データの置き場所と外部に送る範囲は、マスターブレインの仕組みに沿って、御社の規程に合わせて一緒に決めます。

ここまで読んでいただき、ありがとうございます。