対談記事(3)：ChatGPTのプラグイン、Midjourneyなどの画像生成AIによる生産性向上

工学博士（前）、弁理士（町田）、弁護士（松岡・星野）が対談

対談記事の概要：
最近、OpenAIがChatGPTのプラグインを公表し、非常に注目を集めています。対談の前半では、ChatGPTの自社サービスへの利用を検討している企業の担当者としては、このプラグインやAPIについてどのように理解しておけばよいのか分かりやすく解説しました。
対談の後半では、昨年からデザイン分野などで大きな影響を与えているMidjourneyなどの画像生成AIについて、その仕組みやChatGPTとの併用について説明しました。

１．ChatGPTのプラグインについて

松岡：OpenAIがGPTのプラグインサービスを公表しました[1]。プラグインにより、インターネット上の情報を利用することができるということで、大きな話題となっています。現在、プラグインは、一部の企業の利用に限定されているようですが、徐々にプラグインを利用できる企業を増やす予定とのことです。このプラグインについて分かりやすくご説明をお願いします。例えば、ChatGPTの自社サービスに活用することを目指す企業の担当者としては、プラグインと先日お伺いしたAPI[2]についてどのように理解しておけばよいのか、ご教示をお願いします。

前：まず、APIから説明した方が分かりやすいと思いますので、APIから説明します。APIは、自社のサービスやアプリからChatGPTを呼ぶものです。例えば、LINEでChatGPTと会話できるサービスが話題になっていますが、これはChatGPTのAPIを利用したものです。LINEに入力すると、LINEがChatGPTのAPIにこの入力を渡して、ChatGPTが生成した回答をLINEが表示することとなります。アプリケーション側がChatGPTを利用しているという関係です。

松岡：APIの場合、ChatGPTはあくまでインターネット上の情報を利用しないのですね？

前：そうです。インターネット上の情報を参照せずに、学習した範囲で回答しています。
次にプラグインについてですが、プラグインは利用する・される方向が逆になります。例えば、インターネットに接続しているサービスのプラグインを自分が使っているChatGPTの環境にインストールすると、ChatGPTは、そのプラグインを介してインターネットの検索を行い、その検索結果データも加味して、回答を作ってくれます。
プラグインは「ChatGPTが他のサービスにアクセスするためにサービス側が設けた扉」と考えてください。自社のサービスやデータを利用してもらうためのプラグインを用意すれば、ChatGPTはユーザーとの会話の能力に優れていますので、ユーザーとのインターフェースはChatGPTに任せて、短期間、低コストでユーザーフレンドリーなサービスをリリースできます。

松岡：ありがとうございます。例えば、旅行のExpediaやレストラン予約のOpentableがChatGPTのプラグインで利用できるようです。なぜChatGPTは、それらのサービスとデータのやり取りができるのでしょうか？ChatGPTが会話を勉強しているというのは分かりましたが、Expediaの操作まで勉強しているわけではないと思うので、不思議に思います。

前：プラグインを公開する際は、そのプラグインにChatGPTがどのような情報を渡せばよいかという情報を用意することになります。ChatGPTは、ユーザーが入力した会話から日程や人数、行先など予約に必要な情報を抽出して、Expediaのプラグインのフォーマットで渡すと、Expedia予約できる宿泊プランなどを表示したり、予約したりという処理をします。現在は確実にプラグインを使いたい場合は、ユーザーが「Expediaで予約して」などと明示的に指示を出した方がよいようです。

松岡：ありがとうございます。自社のデータベースを活用するアプリをChatGPTと組み合わせて作成したい企業の担当者にとっては、どのような方法がありますか？プラグインの利用はまだアルファ版とのことですので、実際には将来の計画になるかもしれませんが、どうでしょう。

前：まず自社開発のアプリのユーザインターフェースとしてChatGPTを利用するには、画面から入力されたインプットをChatGPTのAPIに渡して、その出力を画面に表示します。データベースへのアクセスはプラグインを用意する設計、用意しない設計の両方が考えられると思います。ユーザーの入力、条件を基にアプリ側でデータベースを検索し、その結果を入力文と合わせてChatGPTのAPIに渡す方法が一つ。いわゆるプロンプトエンジニアリング的なやり方です。もう一つはデータにアクセスするプラグインを用意しておいて、プラグインに渡すパラメータの生成はChatGPTに任せるやり方が考えられます。旅行の検索で言うと以下のような感じになります。
①お客様が、旅行会社のインターフェースに旅行の日付けを入力した場合、Ⅰ旅行会社のデータを検索した結果とⅡユーザーの入力情報の２つの情報をChatGPTに渡して、ChatGPTが生成した回答を旅行会社のインターフェースにて表示させる。
②お客様の入力をChatGPTに渡して、ChatGPTがその旅行会社が用意していたプラグインを利用して、旅行会社のデータベースにアクセスをして、その結果を加味して生成した回答を旅行会社のインターフェースに表示させる。

[1] https://openai.com/blog/chatgpt-plugins　
[2] http://aib.or.jp/2023/03/20/chatgpt-2/　

２．Midjourneyなどの画像生成AIについて

（１）Midjourneyなどの画像生成AIは、どうやってテキストから画像を生成しているのか。

松岡：画像生成AIとして、Midjourney、Stable Diffusion、Canvaなどが利用されています。また、AdobeもFireflyという画像生成AIを公表しました。このような画像生成AIは、2022年にかなり話題となりましたが、実際にどのような構造で、テキストから画像を生成しているのでしょうか？

前：これらの画像生成AIは、拡散モデル（Diffusionモデル）というアルゴリズムを採用しています。詳細はアルゴリズムの専門家の説明を参照いただきたいですが、画像のノイズを乗せ、ノイズの乗った画像から元画像に戻すことを学習させます。そのノイズの乗った画像を基にさらにノイズを乗せた画像を作成、それを基に戻す学習をさせます。これを繰り返すとノイズのみのデータから綺麗な画像が生成されるモデルが作成できるというものです。このような学習をキャプションとセットになった画像データで行うと、ある言葉に対応した画像が生成されるようになります。このような仕組みで言葉から画像が生成されています。

（２）GPTの利用により他人にデータを共有されるのではないかという懸念について

松岡：ChatGPTが公表されて、ChatGPTにより最終的に生成したい画像の具体的な説明文をChatGPTに書かせて（例：「未来の車のイメージを教えて」）、その具体的な説明文をMidjourneyのプロンプトに入力するということが行われています。
これにより、デザインの仕事に影響が出ていると思います。町田先生、いかがでしょうか。

町田：絵心がない人が使うことにより、デザイン会社に対して、簡単にイメージを伝えることができるようになっていると思います。

前：例えば、ホームページ制作を例にすると分かりやすいですね。これまでは、依頼者が自分が思っているホームページのイメージを抽象的な言葉でデザイン会社に伝えて、デザイン会社が数パターンのデザイン候補を提示するということをやっていました。しかし、この方法の場合、依頼者の頭の中のイメージとデザイン会社が想定するイメージが合わないことが多く、そのすり合わせに膨大な時間を要するということが多かったと思います。
注文者としては、デザイン会社に依頼する前に画像生成AIを利用して、叩き台を作成しておけば、注文会社の作業は少なくなり、結果として、デザイン会社に支払う費用も抑えられるようになるのではないでしょうか。

松岡：ありがとうございます。企業のPR部門の方やデザイン会社にとっては、生産性が向上する良いツールなのかもしれませんね。星野先生、いかがでしょうか。

星野：小説の二次創作のときに利用できるのではないかと思います。つまり、ChatGPTに小説を読ませて、登場人物のイメージをテキストにしてもらいます。そのテキストを画像生成AIに入力すれば、登場人物の画像ができるように思います。

前：いいのではないでしょうか。ChatGPTに小説を読ませて、登場人物の特徴を上げさせることはできると思います。また、例えば、〇〇風というアレンジを入れていけば、登場人物の画像を変化させることができます。

星野：少年ジャンプ風とか、北斗の拳風とかですね。

前：叩き台は作ってくれるように思います。

星野：はい。そうなれば、工数を少なくすることができるのかなと思いました。

次回は「Midjourneyなどの画像生成AIによる著作権の問題」を掲載いたします。

2023年3月末

【過去の対談記事】
対談記事(1)：ChatGPTのビジネスの利用について、工学博士と弁護士が対談
対談記事(2)：ChatGPT・GPT4の利用とセキュリティなどの問題点について、工学博士と弁護士・弁理士が対談

AIB協会から対談記事の公開などのお知らせをしています。ご希望の方はこちらから配信先をご登録ください。

ご質問等は、以下にご連絡ください。
人工知能ビジネス創出協会　事務局

対談者ご紹介

ジャパンマネジメントシステムズ株式会社代表取締役社長
AIB協会理事　前一樹（まえ　かずき）

東京大学大学院工学系研究科博士課程終了・博士（工学）取得。ベルギー・ルーベンカトリック大学研究員、北陸先端科学技術大学院大学助手、ITベンチャー企業取締役、CTOなどを経て、現職。医療系研究会事務局長、元上場企業監査役なども務める。情報処理安全確保支援士(登録番号第002063号)、ITストラテジスト。

弁理士法人磯野国際特許商標事務所　代表社員　弁理士
AIB協会理事　町田　能章（まちだ　よしゆき）

早稲田大学大学院理工学研究科建設工学専攻修了。総合建設会社勤務を経て、磯野国際特許商標事務所に入所。2014年4月事務所法人化に伴い代表社員（所長）に就任。AIB協会内外においてAI分野の知財に関するセミナー講師も務める。特定侵害訴訟代理業務付記登録。