AI活用はどこまで自由でいい?CTOが語るセキュリティリスクと社内ルール|現場トーク #11

ChatGPTやClaude、Cursorなどの生成AIを活用し、自然言語で指示するだけでシステムを開発する「バイブコーディング」が広がっています。これまで専門的なプログラミング知識が必要だったシステム開発も、AIを使えば短時間で形にできるようになりました。
一方で、「動くシステムができた」ことと「安全に運用できる」ことは別の問題です。
AIが生成したコードに問題はないのか。セキュリティ上のリスクをどう確認すればよいのか。そして、社員はどこまで自由にAIを活用してよいのでしょうか。
Podcast「リアル産業とAIの現場トーク」#11では、当社、株式会社エルボーズのCTO・南ナリットを初のゲストに迎え、AI活用に潜むセキュリティリスクと企業のルール設計について議論しました。実際の脆弱性対応やAIハッカソンの経験を交えながら、非エンジニアにも知っておいてほしいAI開発の注意点と、安全に活用を広げるための考え方を紹介します。
Podcast「リアル産業とAIの現場トーク」#11
「AI活用、どこまで自由でいい?CTOが語るセキュリティとルール」
AIで作ったシステムは、本当に安全なのか?

「動く」と「安全」は違う。CTOが語る3つのリスク
AIによるシステム開発では、画面や機能が完成していても、利用者からは見えない部分に問題が潜んでいる可能性があります。
今回のPodcastでCTOの南が紹介したのは、特に注意したい3つのセキュリティリスクです。
① APIキーなどの認証情報が漏洩する
APIキーとは、外部のサービスやシステムと連携する際に利用する認証情報のひとつです。例えば、AIが生成したコードの中にAPIキーが直接書き込まれ、外部から閲覧できる状態になってしまうケースがあります。
これは、システムを利用するための秘密の鍵が、外から見えてしまうようなものです。
第三者に不正利用されれば、想定外の費用請求や情報漏洩につながる可能性があります。
② 不正アクセスへの対策が不足している
ログイン画面が正常に動いていても、不正アクセスへの対策が十分とは限りません。
例えば、ログインに何度も失敗した場合のアカウントロックや、短時間に大量のアクセスが発生した場合の制限などです。こうした機能は、通常の操作では気づきにくいものの、安全に運用するうえで重要になります。
③ 他のユーザーや企業の情報が取得できてしまう
複数の企業が利用するシステムで、画面上には自社の情報しか表示されていなくても、APIを通じて他社のデータが取得できてしまう場合があります。
見た目には問題がなくても、データへのアクセス権限が適切に設定されていなければ、情報漏洩につながる恐れがあります。これらは、AIを使った開発に限った問題ではありません。
しかし、AIによって専門知識がなくても開発できるようになったからこそ、開発者自身がリスクに気づかないまま、システムを公開・運用してしまう可能性にも注意が必要です。
AIに「セキュリティは大丈夫?」と聞くだけでは不十分
「AIを使って業務ツールを作ってみた。でも、これって本当に安全なのだろうか?」
今回のPodcastで議論が深まったのが、非エンジニアによるAI開発の限界についてです。
AIで作ったシステムに対して「セキュリティ上の問題はありませんか?」と質問すると、AIがコードを確認して回答してくれます。しかし、その回答だけを信じてよいのでしょうか。
収録では、バイブコーディング経験を紹介しました。
Claudeで作成したものをChatGPTに確認すると、別の問題点を指摘される。その内容を再びClaudeに伝えると、今度はClaudeも問題を認める。こうしたやり取りを繰り返すなかで浮かび上がったのが、「自分が知らない観点は、AIに指示することも難しい」という問題です。セキュリティに詳しくなければ、どのようなリスクが存在するのか、何を確認すればよいのかを判断すること自体が難しくなります。
CTOが紹介する、AIの回答を検証する方法

南からは、AIの回答をそのまま受け入れるのではなく、複数の方法で検証するアプローチが紹介されました。
- 異なるAIモデルを使ってコードを相互にレビューする
- 新しいチャットで、先入観なく評価させる
- IPAなどが公開するセキュリティ基準を参照する
- リスクを洗い出し、優先度をつけて確認する
こうした方法によって、最初の確認では見落としていた問題に気づける可能性があります。
ただし、複数のAIが問題ないと回答したとしても、安全性が保証されるわけではありません。
特に、顧客情報や機密情報を扱う業務システムでは、必要に応じて専門人材によるコードレビューやセキュリティ検証を行うことが重要です。
実際の脆弱性対応から見えた、業務システムを守る難しさ
今回のエピソードでは、PHPの脆弱性問題に対するエルボーズの対応についても振り返りました。
CTOの南によると、対象プロジェクトの洗い出しや影響調査を進めながら、修正版のリリースに合わせて夜間のバージョンアップ対応を実施しました。
その際、重要になったのが「システムを止めるか、止めないか」という判断です。一般的な情報サイトであれば、一時的に公開を停止できる場合もあります。しかし、日常業務に利用しているシステムでは、停止によって顧客の業務に影響が出ることもあります。
そのため、顧客との調整やシステムの構成に応じた対応が必要になりました。
今回の経験からも、システム開発では機能を完成させるだけでなく、運用開始後の安全性や安定稼働まで考えることの重要性がわかります。
これは、AIを活用して開発した業務システムについても同様です。
企業のAI活用は、どこまで自由でいい?
AIの利用を全面的に禁止すれば、業務改善や新しいアイデアが生まれる機会を失うかもしれません。
一方、社員それぞれの判断に任せてしまうと、情報の取り扱いや開発品質、セキュリティ対策にばらつきが生まれます。そこで必要になるのが、組織としての共通ルールと仕組みづくりです。
利用ルールを個人任せにしない
例えば、AI活用においては次のような項目を整理することが考えられます。
- AIに入力してよい情報と、扱ってはいけない情報
- アクセスを許可するWebサイトや外部サービス
- 社内システムとの連携やコネクタの利用範囲
- AIが生成したコードの品質・セキュリティ確認
- 管理者や専門人材による承認・レビューが必要な範囲
エルボーズでは、コーディングルールや設計方針をAIに持たせ、共通の基準に沿って開発する取り組みを進めています。また、コードレビューや品質確認を行う共通AIエージェントを活用し、組織全体の品質を高めるための仕組みづくりにも取り組んでいます。
個人の知識や経験だけに依存するのではなく、組織として必要な確認項目を共有する。
AIを自由に活用できる環境と、一定の品質・安全性を保つ仕組みを両立させることが重要です。
AIハッカソンで見えた、AI活用の可能性と課題
エルボーズが実施したAIハッカソンでも、AIを活用した開発の可能性と課題が見えてきました。
参加者は10数名。普段からAIでツールを開発している人は一部で、多くは調査や文章作成などにAIを利用している段階でした。そうした参加者が、実際にAIを使いながらプロフィールサイトや業務システムの作成に挑戦しました。
短時間で形にできるというAIの可能性を体感する一方、課題になったのがUI/UXの改善に向けたディレクションです。
「もっと見やすくしたい」「使いやすくしたい」と思っても、それをAIにどう伝えればよいのか。また、同じAIモデルを使い、同じ目的のツールを作成しても、人によって完成したものには違いが生まれました。
個人で試す場合には、その違いが創造性につながることもあります。しかし、組織で利用する業務システムでは、操作性や品質のばらつきが課題になる可能性があります。AIによって開発のハードルが下がっても、何を作るのか、完成したものが適切なのかを判断する力は引き続き必要です。
AI活用を安全に広げるために。小規模ラボチームという選択肢

では、企業はどのようにAI活用を進めればよいのでしょうか。
今回のPodcastで紹介されたのが、最初から全社員にAIツールを展開するのではなく、少人数のチームで実際に使いながら、ルールや活用方法を検証していくという考え方です。
例えば、小規模なAIラボチームを設け、特定の業務を対象に次のような取り組みを進めます。
| 検証すること | 具体的な取り組み |
|---|---|
| 業務への活用 | AIで効率化・改善できる業務を選ぶ |
| セキュリティ | 情報管理やアクセス権限を確認する |
| ツールの品質 | 実際に試作し、機能や操作性を検証する |
| 運用ルール | 利用者や専門人材の確認範囲を整理する |
| 組織への展開 | 検証結果をもとに共通化を検討する |
小規模なチームであれば、対象業務や利用範囲を限定しながら、課題を把握し、必要な仕組みを改善していくことができます。ただし、少人数で始めること自体がセキュリティ対策になるわけではありません。適切な技術的対策や確認体制を組み合わせることが前提となります。
重要なのは、ルールを考えるだけで終わらず、実際の業務で試しながら、自社に適したAI活用の方法を見つけていくことです。
エルボーズでは、小規模ラボチームの組成からご支援します
株式会社エルボーズでは、AIエージェントの導入や業務改善に向けた取り組みについて、小規模なAIラボチームの組成段階からご相談いただけます。
例えば、次のような課題をお持ちの企業です。
- AIで社内ツールを作ってみたが、セキュリティや品質に不安がある
- AI活用を進めたいが、社内ルールや運用体制が整っていない
- AIの専門人材が社内におらず、技術的な判断が難しい
- まずは少人数のチームでAI活用を検証したい
- 検証した仕組みを、社内で共通利用できるツールへ発展させたい
エルボーズでは、建設・製造・医療などのリアル産業を中心に、現場の課題整理からAI・DXの活用、システム開発までを支援しています。AI導入の目的や対象業務の整理、推進体制づくり、セキュリティや運用ルールの検討、必要に応じた技術支援など、企業の課題や状況に合わせて進め方を一緒に考えます。
大規模なシステム開発ありきではなく、まずは小さな取り組みから始めることも可能です。
「何から始めればよいかわからない」「社内で試しているAI活用を、次の段階へ進めたい」といった構想段階からでも、お気軽にご相談ください。
Podcast「リアル産業とAIの現場トーク」#11
今回は、エルボーズのCTO・南ナリットをゲストに迎え、AI活用のセキュリティリスクから組織のルール設計まで、現場での経験を交えて議論しました。
今回の主なトピック
- PHPの脆弱性問題と実際の対応
- バイブコーディングで注意したいセキュリティリスク
- AIの回答をどこまで信用してよいのか
- 企業が整えるべきAI活用のルール
- 共通AIエージェントによる品質管理
- AIハッカソンから見えた可能性と課題
AIをどこまで自由に使ってよいのか。そして、安全に活用を広げるためには何が必要なのか。
約37分のエピソードです。ぜひご視聴ください。