社内専用AI基盤を2ヶ月で構築｜LibreChat×社内データ連携で“業務で使える”AI環境を実現

国内大手IT企業では、全社的な業務効率化を目的にChatGPTのトライアルを実施していました。しかし、制度設計やルール整備に入る前の段階で「構造的な行き詰まり」が生じ、導入効果を見込めない状況に陥っていました。

最大の課題は、一般的なChatGPTでは社内データにアクセスできず、“業務で使える回答”にならない点です。さらに、法人版ChatGPTは固定ライセンスの費用負担が大きく、全社展開を行う場合の費用対効果が見合いませんでした。

こうした背景から、「社内データに基づいて回答でき、利用率に応じて費用を最適化できる社内専用AI基盤を構築したい」という要望が生まれ、Border Zがプロジェクトを支援しました。

本記事では、プロジェクトの背景、技術アーキテクチャ、開発プロセス、2ヶ月で本番運用に到達した成果を紹介します。

目次

プロジェクト概要

本プロジェクトは、国内大手IT企業が全社的なAI活用を推進する中で進めた取り組みです。背景には次のような課題がありました。

• ChatGPTのトライアルでは一定の成果があったものの、実務定着には至らなかった

• 社内データにアクセスできず、業務に必要な回答が得られない

• 固定ライセンス型サービスでは費用対効果が合わない

• 利用頻度に関係なく固定費が発生し、投資判断が難しい

現場からは「AIの回答が業務につながらない」「利用するイメージが湧かない」といった声が多く、AI導入の議論そのものが進みにくい状況が生まれていました。

こうした環境を踏まえ、プロジェクト側では次の要件が明確になりました。

• 社内文脈を理解した回答ができるAIが必要

• AIの活用状況に応じて費用を最適化したい

• 固定ライセンスではなく、従量課金ベースで運用したい

• 社内環境に置ける“安全性の高いAIチャット環境”が必要

これらの要件を満たすため、Border ZではLibreChatをベースにした社内専用AI基盤の構築を提案しました。

課題

一般的なChatGPTでは社内文脈を参照できない

ChatGPTは社内データにアクセスできないため、社内用語、ドキュメント、独自ルール、過去のプロジェクト背景などが反映されません。その結果、「便利ではあるが実務では使えない」という評価が広がり、利用頻度が伸び悩んでいました。

固定ライセンス型では費用対効果が合わない

法人版ChatGPTはユーザー数に応じて高額なライセンス費が必要です。利用頻度が低い部門も含めて固定費を負担する構造では、全社展開が現実的ではありませんでした。

利用率が低く、AI導入が進まない

利用率向上には、

• 実務に直結する回答が返ってくること

• 社内文脈を理解した回答が得られること

• 安全に利用できる環境が整っていること

が欠かせません。しかし現状では「便利だが業務では使いにくい」という評価が強く、実利用の伸び悩みが課題でした。

解決策：LibreChatを基盤とした社内専用AI環境

Border Zでは、汎用SaaS型AIサービスを契約するのではなく、企業側で保有できるAI基盤を構築するアプローチを採用しました。核となるのが LibreChat です。LibreChatはOSS（オープンソース）のチャットUI／基盤であり、企業独自の環境や要件に合わせて柔軟にカスタマイズできます。

LibreChatをベースにした独自AIチャットの構築

• 完全に企業側のインフラ内に構築

• セキュリティ要件に合わせて強化

• UI/UXを企業用途に合わせて最適化

• 権限・利用ログ管理も企業ポリシーに準拠

「社内に置ける」「拡張できる」「低コスト運用できる」AI基盤を実現しました。

複数LLMを用途別に切替可能（GPT/Gemini/DeepSeekなど）

LibreChatの強みは、LLM（大規模言語モデル）を自由に切り替えられること です。

たとえば、

• 高精度が必要：GPT-4

• 長文処理や要約：Gemini

• コスト重視：DeepSeek

• 特定タスク特化型：カスタムモデル

この設計により、精度 × コストのベストバランスを都度選択できます。

従量課金ベースでコストを最適化

固定費ではなく、利用した分だけ費用が発生する従量課金に変更することで、以下のメリットが生まれました。

• 部門間で利用頻度が異なってもコストが適正化

• “使われない固定費”がゼロに

• 同じ予算で利用可能人数を大幅に増やせる

RAG前提のアーキテクチャで将来拡張

今回のフェーズでは社内データを直接連携しない構成ですが、将来的に下記を容易に追加できる設計にしています。

• 社内ドキュメントDBとの接続

• SharePointや内部WikiとのRAG連携

• 社内ナレッジベース構築

• プロジェクトデータのリアルタイム検索

技術アーキテクチャ

LibreChatベースの拡張

• UIコンポーネントの再設計

• セキュリティ強化のためのプロキシレイヤー

• LLM API切替機能の拡張

• 独自の利用ログ管理機能を追加

部門ごとの利用シーンに合わせたUI/UX

• 技術部門向け：コード生成・要件整理向けUI

• 企画部門向け：資料作成・要点抽出に最適化

• 管理部門向け：文章チェック・契約文書確認

• “誰が何のために使うか”から逆算した設計を行いました。

利用部門のニーズを踏まえ、“誰が何のために使うか”に基づいて設計しました。

セキュアな社内環境での運用

• 社内サーバまたは閉域環境で完結

• APIキー・モデルアクセス権限の統制

• 利用ログの暗号化

• 認証基盤との連携

大企業のセキュリティ基準に合わせた安全な環境を実現しました。

開発プロセス

要件整理〜技術方針を短期間で確定

2週間で以下を整理しました。

• AIチャットの利用目的

• 想定ユーザー

• 必要な画面・機能

• 必要なLLMとモデル構成

• 将来的な拡張性要件

プロトタイプ開発と利用部門とのフィードバック

LibreChatを土台にしたプロトタイプを素早く構築し、利用部門から継続的にフィードバックを収集しました。UI改善を中心に、実務フィットを高めました。

社内環境へのデプロイ

• インフラ側の制約対応

• セキュリティ設計の調整

• ログ基盤への統合

• 部門向けテスト環境を順次構築

本番利用に向けたUI最適化

• 利用ログを踏まえた改善

• 導線の見直し

• モデル切替フローの調整

成果

2ヶ月でPoCから本番運用まで移行

予定遅延なく、短期間で本番運用に到達。

固定ライセンス型と比較して運用コストを大幅削減

利用頻度×推論コストに応じた“適正な支出”だけで運用可能に。

社内文脈を踏まえた回答が可能となり利用率が向上

LibreChatとUI最適化により、業務に直結する回答が得られる環境に。

AI活用が定着し、複数部門への横展開が可能に

“まず使ってみよう”という社内ムードが生まれ、利用部門が拡大。

今回のプロジェクトで評価されたポイント

• 大企業の要件に合わせたLibreChatの深いカスタマイズ力

• LLM切替機能によるコスト最適化の実現

• セキュリティ要件への対応力

• PoC止まりにさせない“本番運用までやり切る実装力”

• 要件整理〜技術選定〜構築を短期間で推進するスピード感

まとめ

今回構築した社内専用AI基盤は、

• 社内文脈のある回答

• 利用率に応じたコスト最適化

• セキュアで柔軟に拡張できるAI基盤

• LibreChatのOSSを活かした高速構築

を2ヶ月という短い期間で実現しました。

“業務で使えるAI”とは、単にChatGPTを導入することではなく、企業の文脈・コスト構造・セキュリティ要件に適合したAI基盤を整えることだといえます。今後はRAG連携による社内DB検索や、部署ごとのLLM最適化など、さらなる実務定着に向けた発展が期待されます。

貴社の社内環境に合わせたLibreChatベースの専用AI基盤構築をご検討の場合は、お気軽にご相談ください。要件整理から設計・構築・運用設計まで、短期間での導入を支援します。

▶社内専用AI基盤について相談する