実験: AI は人間よりも Twitter を書くのが上手ですか?

誰もが AI について話したりツイートしたりしています。AI は文章をより良く書くのに役立ちます。AI により、より速くツイートできるようになります。AI があなたの仕事にやってくるでしょう (その理論は捨てましょう – AI はツールであり、代替品ではありません)。

しかし、AI はソーシャル署名のパフォーマンスを向上させるのに役立つでしょうか?

多忙なソーシャル メディア マーケティング担当者として、私はコンテンツ作成プロセスの簡素化と高速化を約束するものなら何でも大好きです。しかし私たちは、AI の使用が実際に、特に Twitter でのエンゲージメントとリーチに影響を与えるかどうかを知りたかったのです。

人間が書いた署名は、AI が書いた署名よりもエンゲージメントとリーチが大きいのでしょうか? Twitter のアルゴリズムは AI によって書かれたツイートにペナルティを与えますか? それを知るために実験をしてみました。

仮説: 人間が書いた Twitter のキャプションは、AI が書いたキャプションよりも多くの注目を集め、リーチするでしょう。

私たちの経験に基づいた推測では、人間が書いた Twitter のキャプションは、AI が書いたキャプションよりもより多くのエンゲージメントとリーチを獲得するでしょう。

Twitter は会話プラットフォームです。人々は明確な声でのツイートを好み、Twitter ユーザーは他の人々とつながることを好みます。人から発せられたように聞こえないツイートには人々は惹かれないのではないかと考えられます。

しかし、ツイートが AI によって書かれたものかどうか、人々は本当に知ることができるのでしょうか? もしそうなら、リーチとエンゲージメントにどのような影響を与えるでしょうか?

確認してみましょう。

方法論

人間が書いた Twitter キャプションが AI が書いたものよりも多くのエンゲージメントとリーチを生み出すかどうかをテストするために、私は個人の Twitter アカウントで 3 セットのツイートを共有しました。ツイートの各セットは同じ形式を使用しているため、公平に比較​​できます。

この実験では、テキストのみのツイートを 2 つ、リンクツイートを 2 つ、画像ツイートを 2 つ投稿しました。

AI が生成したツイートを作成するために、長いコンテンツを一口サイズのソーシャル キャプションに再利用するツールである Lately を使用しました。

(ボーナス: Lately アプリを Hootsuite に接続すると、Hootsuite ダッシュボード上で投稿を微調整、スケジュール、自動投稿できます)

ソース

まず、ブログ投稿やポッドキャストなどのコンテンツをジェネレーターに送信します。

ソース

次に、コンテンツを解析し、表示および編集用のキャプションを作成します。編集したら、計画のために Hootsuite に直接送信できます。

Lately およびその他の AI コンテンツ作成ツールについて覚えておくべきこと: まず、トレーニングする必要があります。AI ツールがあなたやあなたのブランドに最も似たコンテンツを生成するには、あなたの声、コンテンツ、視聴者を理解する必要があります。そのため、lately はキャプションを生成する前に長い部分を送信するよう求めています。

AI によって生成されたコンテンツについて注意すべきもう 1 つの点は、依然として人間による編集が必要であるということです。

あなたが送信したコンテンツに基づいて Lately がツイートを生成したら、サウンド、明瞭さ、コンテキストを編集することができます。最近では、次回により良いコンテンツを作成するためにこれらのアイデアを使用しています。使えば使うほど、あなたのブランドが実際に公開するものに似てきます。

人間によるキャプションを作成した後、Hootsuite Lately 統合を使用して、同じ長いコンテンツを使用して同様のツイートを作成しました。次に、Hootsuite でスケッチを作成し、提案された投稿時間機能を使用してスケジュールを設定しました。

結果

各ツイートのパフォーマンスを、投稿されてから約 24 時間後にテストしました (Twitter のライフサイクルは速いです)。結果は次のとおりです。

どのように機能するかを理解するために、各ツイートのエンゲージメント率を収集しました。以下では、それぞれの具体的な指標について考えていきます。

ツイート #1: テキストのみのツイート

この実験では Lately AI ツールを使用しているため、これらのキャプションの長いコンテンツを言い換えることに集中する必要がありました。

これがこの実験のために私が書いた最初のツイートです。このツイートでは、フリーランサーの雑用に関する記事からの引用を言い換えました。

Hootsuite Analytics によると、このツイートの結果は次のとおりです。エンゲージメント率は 14.14% で、合計 28 のインタラクションと 198 のインプレッションがありました。

スタイル的には、これは私にとっては普通のツイートです。私はアスタリスクを使用して音声を追加するのが好きで、メールで括弧を使用するのが好きです。括弧で囲まれたステートメント (何かを明確にするステートメント。通常は括弧で囲まれています) は、追加情報を伝え、より多くのコンテキストを提供する優れた方法です (私がそこで何をしたかを見てください)。また、私に言わせれば、括弧で囲まれた文章は人間的な要素を追加しているだけです。

ここで言えることは、AI が同じ記事から同様のツイートを生成したときに、AI が単独でどのように機能するかを確認したかったため、通常の人間的なタッチを追加するために編集しなかったということです。

AIが生成した署名の結果がこちらです。エンゲージメント率は 4.06% で、インタラクションはわずか 5 件、インプレッション数は 123 件でした。

この最初のツイートの比較では、人間が書いたキャプションの方が優れていました。括弧が抜けているせいでしょうか？おそらく、しかしおそらくそうではありません。

このツイートの有効性に影響を与えた可能性のある要因がいくつかあるため、別の種類のツイートでもう一度試してみましょう。

ツイート #2: リンクを含むツイート

次の比較では、リンクを含むツイートがどのように動作するかを確認したいと思いました。コンテンツマーケティングに携わる人々（特にフリーランスと社内ポジション）のキャリアパスの種類について書いた記事を言い換えました。

私が書いたツイートは次のとおりです。

最近、多くの人が仕事の不安に直面している中、私が@superpathcoのために書いたこの記事は、タイムリーな思い出のように思えます。

フリーランスは、一か八かの決断であってはなりません。この記事のために私が話を聞いた人の多くは、副業や仕事の合間にそれを行っています。https://t.co/EI8rePLBuS

— サム・ローロン (@Sam_Lauron) 2023 年 2 月 8 日

そして、このツイートの結果がこちらです。エンゲージメント率は 8.47%、インタラクション数は 32、インプレッション数は 378 でした。

このツイートには記事へのリンクと、私が記事を書いたブランドについての言及が含まれていました。このツイートは私の以前のツイートよりもリーチが大きく、私が言及したブランドがそれをリツイートしたためではないかと思われます。Twitter の組み込み分析で追加の指標を確認したところ、このツイートには 21 件の詳細な開示と 5 件のリンクのクリックがありました。面白い！

AI が作成したキャプションについては、最近同じ記事を言い換えてツイートを作成しました。リンクとメンション (追加する必要がありました) も含まれていましたが、生成されたテキストには何も変更しませんでした。

「私のキャリアが再びこの道を歩むことになった場合に備えて、フリーランスの存在を知っておくのは素晴らしいことです!」FT コンテンツ マーケターが副業でフリーランスの仕事を引き受けたり、キャリアを通じて FT とフリーランスの間を行き来したりすることは珍しいことではありません。@superpathco

https://t.co/dEeb63G7IB

— サム・ローロン (@Sam_Lauron) 2023 年 2 月 16 日

このツイートの最終結果がこちらです。わずか 6 件のインタラクションと 80 件のインプレッションで、エンゲージメント率は 7.5% となりました。このツイートの Twitter アナリティクスもチェックしたところ、詳細な開示が 1 件とリンクのクリックが 2 件ありました。

このラウンドでは、私の人間が書いたツイートが AI が生成したツイートを上回りました。エンゲージメント率はほぼ同じでしたが、リツイートされたためか、私が書いたツイートのインプレッション数は 4 倍になりました。

AI が生成したキャプションもリツイートされたほうが効果的でしょうか? 多分。リーチが増えれば、リンクのクリック数も増えるでしょうか? 多分。しかし、見出し自体がそれほど魅力的ではなかったために、それほどリツイートされたりクリックされなかったと主張することもできます。

別のテストをしてみましょう。

ツイート #3: ビジュアルリンクツイート

前回のツイートの比較では、エンゲージメントとリーチにどのような影響を与えるかを確認するために視覚的なものを含めたいと思いました。比較のために、Hootsuite に書いた 2 つの記事を使用しました。(繰り返しになりますが、この実験では Lately を使用しているため、ツイートは長いコンテンツに基づいているはずです。)

それぞれに類似したサムネイル画像があり、フィード内に同じように表示されます。さらに、両方の記事はソーシャル アクセシビリティという同様のトピックを扱っているため、内容を公平に比較​​できます。

これが私が書いたキャプションを付けて共有した最初のツイートです。

過去数年間ソーシャル メディアで働いてきた人なら、デジタル アクセシビリティとインクルージョンが最優先事項であることをご存知でしょう。

@hootsuite への私の最新の投稿では、Facebook の代替テキストがコンテンツをよりアクセスしやすく、発見しやすくする方法の 1 つである理由を説明しています。https://t.co/huQ5AksuCg

— サム・ローロン (@Sam_Lauron) 2023 年 2 月 9 日

そして、それがどのように行われたかは次のとおりです。

このツイートは、合計 8 件のインタラクションと 140 件のインプレッションにより、エンゲージメント率 5.71% を生成しました。いくつかの「いいね！」と1つのコメントがつきました。Twitter 独自の分析によると、このツイートには 1 回のリンクのクリックと 5 回の詳細情報も含まれています。

最近、TikTok 自動キャプションに関する同様のトピックについて書いた別の記事のツイートを作成しました。AI がツイートの最初の部分の記事を言い換えましたが、最初のツイートと同様に、何らかの文脈のために 2 行目を追加し、メンションを含める必要があったことに注意してください。

もっと多くの人にあなたのTikTokビデオを見てもらいたいですか？自動字幕を追加することで、視聴体験をできるだけアクセスしやすく楽しいものにします。

自動署名の詳細については、@hootsuite の最初の記事https://t.co/JhSjH0TQ0g をご覧ください。

— サム・ローロン (@Sam_Lauron) 2023 年 2 月 13 日

このツイートの結果は次のとおりです。

結局のところ、このツイートは機能しませんでした。リーチもエンゲージメントもほとんどなく、「いいね」も、コメントも、リツイートも、リンクのクリックもありませんでした。ただし、いくつかの詳細な拡張が行われました。

ここでも、人間が書いたツイートが AI が生成したテキストを上回りました。

結果は何を意味しますか?

最終的に、私の人間が書いたツイートはすべて、AI が書いたキャプションよりも優れたパフォーマンスを示しました。確かに、私個人の Twitter アカウントのフォロワー数はそれほど多くないので、これらの数字はどれもそれほど魅力的ではありません。しかし、彼らは、より人間のツイートがプラットフォーム上でよりよく響くことを（非常に小規模ではありますが）実証していると思います。

この実験で得られた発見の一部を以下に示します。

人工知能によって書かれた字幕は時間を節約できます

正直に言うと、私はライターかもしれませんが、ツイート、特に長い記事を言い換えるツイートを書くのに長い時間がかかります。公開の準備が整っていない場合でも、AI ツールがキャプションを素早く作成できることに驚きました。

もともと文章を書くのが得意かどうかに関係なく、毎週創造的なキャプションを考え出すと、戦略を立てたり、フォロワーとの関わりを持ったりするなど、他のタスクから時間とエネルギーが奪われます。したがって、特定の日または週に何十ものソーシャル キャプションを作成する仕事がある場合、AI ツールを使用すると時間を大幅に節約できます。

Lately のようなツールは、Twitter を使用してブログ投稿などの長いコンテンツを共有する場合に特に便利です。このツールは 1 つの作品から数十のキャプションを作成できるため、1 か月にわたる Twitter のキャプション ジョブを数分で作成できます。

AI によって書かれたレタリングには依然として人間の接触が必要です

最近では、私が提供したすべての記事に対して数十のキャプションが生成されたため、リストに載っていないキャプションがたくさんありました。そのうちのいくつかはまともなものでしたが、他のものは単に混乱を招き、多くの編集が必要でした。

キャプション ツールを使用している場合でも、少なくとも最初は、特に音声を追加する場合は、キャプション ツールを確認して編集する必要があります。

AI ツールは通常、ツイートの完全なコンテキストを理解せず、ブランドの声をすぐには認識しません。ほとんどの AI ツールは、ユーザーが何をさせたいのかをよりよく理解し、ブランドに適切なトーンを設定できるようにトレーニングする必要があります。これらのツールを理解するには時間がかかるかもしれませんが、使用すればするほど、また作成内容を微調整すればするほど、よりよく適応できるようになります。

AI が作成したキャプションはリーチにどのように直接影響しますか? 陪審員はまだ出てきていない。私の実験では、人間が書いたキャプションはすべて、AI が書いたキャプションよりもリーチが大きかったのですが、これはコンテンツ自体の反響が大きかったからかもしれません。AIによって書かれたツイートが実際にAIによって書かれたものであることをプラットフォームが知っていたかどうかを判断するのは難しい。しかし、私が推測しなければならないとしたら、Twitter は AI を使用してキャプションを書くことに対してペナルティを課さないと思います。

結局のところ、AI を使用して Twitter のキャプションを作成する場合は、AI を出発点として考えてください。魅力的で公開できるようにするには、ソーシャルでの経験を活用する必要がありますが、最初から始めるよりもずっと早く削除できるでしょう。