生成人工知能 (GenAI) ツールの使用は、開発者チームを通じて野火のように広がり続けるため、文化と手順に大きな変化が伴います。
Wipro FullStride Cloud の副社長兼最高技術責任者であるキラン・ミンナサンドラム氏によると、これは単に新しいツールを採用するだけではなく、開発者がテクノロジーと対話し、問題を解決し、ソフトウェア エンジニアリングにおける新しいパラダイムを生み出す方法を変革するものです。
同氏は、幻覚、技術的肥大化、データポイズニング、入力操作やプロンプトインジェクションから知的財産（IP）侵害、GenAIの盗難に至るまで、GenAIに関連するリスクを適切に管理するには、「包括的な文化的および手続き的変革」が必要であると述べている。モデルそのもの。
「モデルの妥当性について心配する必要があります」とミナサンドラム氏は言います。 「モデルのドリフトやモデルの幻覚について心配する必要があります。 すべてのモデルはデータに基づいており、データには本質的にバイアスが存在します。 たとえそれがバイアスのほんの一部であっても、それをますます多くのデータに推定し始めると、バイアスは増大するばかりです。」
そのため、データにはバイアスが入り込む可能性があるため、組織はモデルに使用するデータの量に「非常に注意」する必要があります。 組織が限られたデータセットから推定する場合、結果はその質と量に制限されます。 必要なデータは機密でプライベートなものである可能性があり、独自の明示的なデータセットで利用できないデータは、モデルの幻覚を簡単に引き起こす可能性があります。
「したがって、優れた緩和戦略が必要ですが、それはすべてケースバイケースです」とミナサンドラム氏は言います。 「私たちは非常に慎重になる必要があります。 たとえば、機密データの場合、データの品質を失わずに匿名化するにはどうすればよいでしょうか?」
生成されたコンテンツにもガードレールが必要な場合があります。 たとえそれがソースコードの生成であっても、機械補完のためのコードを書いたとしても、そのコードは完全ではありません。 そのための適切なガードレールには、そのコンテンツの品質を測定することが必要になるかもしれない、と彼は言う。
責任の枠組み
企業の価値を高めるには、個人の使用だけでなく、特定の環境におけるテクノロジーとその専門性もカバーする責任の枠組みが必要になります。 ウィプロは独自の開発を行っており、社内およびクライアントへの対応を維持しながら、それをどのように取り入れて実装すべきかを検討しています。
これには、ガードレールを開発するために、コードレビュー、セキュリティと監査、規制順守などに関するリスクエクスポージャを完全に理解する作業が含まれます。
良いニュースは、CI/CD パイプラインに統合するための、コードとコンパイラの最適化を含む、より多くのコード品質とパフォーマンスを改善するツールが登場していることです、と Minnasandram 氏は言います。
ただし、GenAI をただ脇に置くだけの問題ではありません。 コードのリファクタリングなどのタスクや、マシンが「開発者と一緒に」最初のコードリフティングを行う予測コーディングや協調コーディングなどのより高度な技術に対する需要が高まっています。
ワークフロー自動化企業ペガシステムズの最高技術責任者（CTO）であるドン・シュールマン氏は、主な課題はコードの不足ではなく「山のような技術的負債」であり、GenAIの管理が不十分で技術的負担が増大しているだけだと述べた。
そのため、彼は GenAI を「コードを作成する」以外のタスクに使用する方がよいと考えています。
「GenAI を使用して、コードが解決しようとしているビジネス上の問題、つまり効率を高めるためにプロセスをどのように最適化するかという問題に戻って検討する方がはるかに優れています。 規制ガイドラインを遵守しながら顧客をサポートする最も早い方法は何でしょうか?」 彼は言います。 「すでに壊れていることがわかっているプロセスを自動化するコードを大量に作成するのではなく、将来の最適なワークフローを設計します。」
職場のプレッシャー
あらゆるレベルでの経験と熟練した監督、作成後のコードの編集とチェックを経験していたとしても、職場のプレッシャーによってエラーが発生したり、重要なことが見逃されたりする可能性がある、と彼は同意します。
ユーザーが「安全なバージョンのツール」を持っていることを確認し、GenAI をさらに活用して「ビジネスを先取りする」ようにします。 ローコード ツールを使用すると、IT チームはシャドー IT の障害をクリーンアップすることがよくありました。同様のことが GenAI にも当てはまる可能性があります。特に、ガードレール内でスピードとイノベーションを実現するために導入するとより便利であり、同時にコンプライアンスとセキュリティを確保します。保守性が高いとシュールマン氏は指摘します。
検索拡張生成 (RAG) などの手法を採用して、カスタム大規模言語モデル (LLM) の構築と維持にかかるオーバーヘッドを発生させずに GenAI がナレッジにアクセスする方法を制御し、指定された一連のエンタープライズ ナレッジに基づいて質問に答えるナレッジの「バディ」を作成します。コンテンツ。 RAG は、引用とトレーサビリティを確保しながら幻覚を防止するのに役立ちます。
GenAI を使用して、スケーラブルなモデル駆動型プラットフォームで実行できるモデル (ワークフロー、データ構造、画面) を生成します。 リスクは、GenAI を使用して「全員を開発者に変える」ことで発生し、さらなる肥大化と技術的負債を生み出すことにあるとシューアマン氏は言います。
業界のベスト プラクティスに基づいて、最適な顧客と従業員のエクスペリエンスを表すワークフロー、データ モデル、ユーザー エクスペリエンスなどを生成することに限定してください。 そうすることで、拡張性を考慮して設計されたエンタープライズ グレードのワークフローおよび意思決定プラットフォームで、結果として得られるアプリケーションを実行できます。
「また、変更が必要な場合、何が起こっているかを把握するために生成された大量のコードを調べる必要はありません。アプリケーション内のワークフロー ステップやデータ ポイントを反映する、ビジネスに適したモデルを更新するだけです」とシューアマン氏は言います。
データ プラットフォーム プロバイダーである Cloudera のフィールド CTO である Chris Royles 氏は、より適切で関連性の高い情報でプロンプトを強化できるように従業員を訓練することも重要であると述べています。 これは、限定的で徹底的に精査されたデータセットのコレクションを提供し、それらのデータセット内で明示的に見つかるデータのみを使用し、他のデータセットは使用しないように生成ツールに指示することを意味する場合があります。
これがなければ、GenAI で新しいアプリケーションやサービスを構築する際に、独自のベスト プラクティス、標準、一貫した原則を確保するのは困難になる可能性がある、と彼は言います。
「組織は自社の製品に AI をどのように組み込むかについて明確に考える必要があります」と Royles 氏は言います。 「そして、GenAI では、資格情報を使用してサードパーティ アプリケーションを呼び出します。 それは本当に懸念事項であり、資格情報の保護も懸念事項です。」
GenAI の動作を常にオーバーライドできるようにしたいと彼は言います。
アクセシビリティを高めたり、テスト サイクルを短縮したりすることで、開発チームの幅がさらに広がります。 構築されたアプリケーションは、適切な暗号化フレームワークが使用されているかどうか、資格情報が適切かつ正しい方法で保護されているかどうかなど、検証機能についてテスト可能である必要があります。
Royles 氏は、GenAI は複雑な契約のクエリや、そもそもアプリケーションの構築や使用が実際に合法かどうかなど、他の開発関連タスクにも使用できると付け加えました。 これも、存在しない法的証拠や判例の幻覚の危険性があるため、慎重に管理する必要があります。
緩和は、より適切でより関連性の高い情報でプロンプトを強化するように人々を訓練することによって部分的に達成される可能性があります。 たとえば、限定的で徹底的に精査されたデータセットのコレクションを提供し、それらのデータセット内で明示的に検出できるデータのみを使用し、他のデータセットでは使用しないようにツールに指示する、と同氏は指摘します。
禁止は機能しない
コンサルタント会社 CloudSmiths の CTO である Tom Fowler 氏は、開発者に GenAI の使用を禁止することは機能しないことに同意しています。 通常、人々は、それが会社の方針に反するかどうかに関係なく、自分の生活を楽にしたり、より良くしたりすると感じるテクノロジーを使用することを選択します。
ただし、組織は依然として、平凡または「ゴミの中間」への滑りやすい坂を避けることに努める必要があります。これは、監督が不十分だったり、技術的負債が多すぎるチームが開発スキルセットのギャップを補うために GenAI を使用しようとした場合に、本当のリスクとなります。 「組織はそれを認識し、それを防ぐ必要があります」とファウラー氏は言います。 「LLM が何が得意で、何が苦手なのかを理解するよう努める必要があります。」
機能は急速に進化していますが、LLM は、人々がコードを書いて本番環境に導入するのを支援するのはまだ「苦手」です。 開発者チームによる使用には何らかの制限を設ける必要があるかもしれませんが、組織には引き続きソフトウェア エンジニアリングの要件があり、これには確かな経験と強力なコード レビューの実践を備えた優れたエンジニアが含まれます。
「私にとって、GenAI を使用すると、多くの小さな問題の解決に役立ちます」と Fowler 氏は言います。 「非常に小さなタスクは非常に迅速に解決できますが、継承されたシステムや、大きな問題を解決できるように設計されたエンジニアリング システムなど、大量の複雑さを保持する能力がありません。 そうすれば人間は善いのです。 洞察力、推論、そしてこの全体像を頭の中に保持できる能力が必要です。」
これは実際には、コストを節約するために開発チームを空洞化するのではなく、開発チームのスキルアップを検討することを意味する、と彼は同意する。
優れたエンジニアは、自分がやろうとしていることを機能的に多数の小さな問題に分解することができ、それらの個々の塊に GenAI を使用できます。 GenAI が大きく複雑な問題について助けを求められたり、エンドツーエンドで何かをするよう求められたりすると、「ゴミが出てくる可能性があります」。
「何らかのマッサージをしなければ機能しないコードが得られるか、単に間違った『アドバイス』を受けるかのどちらかです」とファウラー氏は言います。 「チームを拡大し、より少ないリソースでより多くのことを達成できるように支援することです（部分的には結果として）。 そして、複数のモダリティとドメイン固有のモデルが、ゼロから構築されるか微調整されるかにかかわらず、出現するのは 100% 将来のことです。」
著作権に関する考慮事項
大手企業は、データや漏洩などを保護するエンタープライズ向け製品を提供し始めており、これは「素晴らしいこと」だが、コードに関連する著作権やその他の知的財産リスクについては、これまでのところ比較的ほとんど注目されていない、とファウラー氏は言う。
Oracle が Java API の使用に関して Google を訴えたときに何が起こったかを見てください。 組織は、将来起こり得る厄介な予期せぬ事態を回避するために、類似点や前例を調べたいと考えるかもしれません。
「他のものとまったく同じではないと言えるほどに、どの程度調整され、変更されているかという点で、何が大丈夫なのかについては前例が見つかるでしょうが、それはまだわかりません」と彼は指摘する。
GenAI の汎用的で幅広い用途により、データは Google や Stack Overflow 上の何かから簡単に取得でき、その中のどこかでアルゴリズムを介して他人の IP を複製することができます。 LLM ベースのツールを製品に組み込んでいる組織では、そのツールに対するガードレールが必要になる場合があります。
「そうは言っても、これがほとんどの組織を阻止するほどの大きなリスクであるとは思えません」とファウラー氏は言う。