Experimento: a IA escreve no Twitter melhor do que os humanos?
Todo mundo está falando e tuitando sobre IA. Você provavelmente já ouviu tudo: a IA pode ajudá-lo a escrever melhor. A IA pode ajudá-lo a twittar mais rápido. A IA chegará ao seu trabalho (vamos deixar de lado essa teoria – a IA é uma ferramenta, não uma substituição).
Mas a IA pode ajudar suas assinaturas sociais a terem um desempenho melhor?
Como um profissional de marketing de mídia social ocupado, adoro qualquer coisa que prometa simplificar e acelerar o processo de criação de conteúdo. Mas queríamos descobrir se o uso de IA realmente afeta o engajamento e o alcance, especialmente no Twitter.
As assinaturas escritas por humanos têm mais engajamento e alcance do que as assinaturas escritas por IA? O algoritmo do Twitter penaliza tweets escritos por IA? Fiz uma experiência para descobrir.
Hipótese: As legendas escritas por humanos no Twitter receberão mais atenção e alcance do que as legendas escritas por IA.
Nosso palpite é que as legendas do Twitter escritas por humanos terão mais engajamento e alcance do que aquelas escritas por IA.
O Twitter é uma plataforma de conversação. As pessoas gostam de tweets com uma voz clara e os usuários do Twitter gostam de se conectar com outras pessoas. Suspeitamos que as pessoas não se sintam atraídas por um tweet que não pareça vir de uma pessoa.
Mas as pessoas realmente saberão se um tweet foi escrito por IA ou não? E se sim, como isso afetará o alcance e o engajamento?
Vamos descobrir.
Metodologia
Para testar se as legendas do Twitter escritas por humanos geram mais engajamento e alcance do que as escritas por IA, compartilhei três conjuntos de tweets em minha conta pessoal do Twitter . Cada conjunto de tweets usou o mesmo formato para que pudessem ser comparados de forma justa.
Para esta experiência, postei dois tweets apenas de texto, dois tweets de link e dois tweets de imagem.
Para compor tweets gerados por IA, usei Lately, uma ferramenta que reaproveita conteúdo longo em legendas sociais pequenas.
(Bônus: você pode conectar o aplicativo Lately ao Hootsuite para ajustar, agendar e postar automaticamente suas postagens diretamente no painel do Hootsuite)
Em seguida, ele analisará o conteúdo e criará legendas para visualização e edição. Depois de editados, você pode enviá-los diretamente ao Hootsuite para planejamento.
Algumas coisas para lembrar sobre o Lately e qualquer outra ferramenta de criação de conteúdo de IA: primeiro, você precisa treiná-lo. Para que as ferramentas de IA gerem conteúdo mais parecido com você ou sua marca, elas precisam entender sua voz, conteúdo e público. É por isso que Lately está pedindo para você enviar a parte longa antes que ela possa gerar legendas.
Outra coisa a observar sobre o conteúdo gerado por IA é que ele ainda precisa ser editado por um humano.
Uma vez que Lately gera tweets com base no conteúdo que você enviou, você pode editá-los para som, clareza e contexto. Recentemente, usa essas ideias para criar um conteúdo melhor da próxima vez. Quanto mais você usá-lo, mais parecido com o que sua marca realmente publicará.
Depois de criar as legendas humanas, usei a integração do Hootsuite Lately para criar tweets semelhantes usando os mesmos conteúdos longos. Em seguida, esbocei-os no Hootsuite e usei o recurso de horário de postagem sugerido para agendá-los.
Resultados
Testei o desempenho de cada tweet cerca de 24 horas depois de postado (o ciclo de vida do Twitter é rápido). Aqui estão os resultados:
Coletei a taxa de engajamento de cada tweet para entender como eles funcionam. A seguir, considerarei indicadores específicos para cada um deles.
Tweet nº 1: tweet somente de texto
Como estou usando a ferramenta Lately AI para este experimento, tive que me concentrar em reformular longos trechos de conteúdo para essas legendas.
Aqui está o primeiro tweet que escrevi para este experimento. Neste tweet, parafraseei uma citação de um artigo sobre a tarefa de um freelancer.
E aqui estão os resultados deste tweet, de acordo com o Hootsuite Analytics. A taxa de engajamento foi de 14,14% com um total de 28 interações e 198 impressões.
Em termos de estilo, este é um tweet normal para mim. Adoro adicionar voz por meio de asteriscos e adoro usar parênteses em meus e-mails. As declarações entre colchetes (declarações que esclarecem ou esclarecem algo e geralmente são colocadas entre parênteses) são uma ótima maneira de transmitir informações adicionais e fornecer mais contexto (viu o que eu fiz aqui?). Além disso, as frases entre parênteses apenas adicionam um elemento humano extra, se você me perguntar.
Tudo isso para dizer é que, quando a IA gerou um tweet semelhante do mesmo artigo, não o editei para adicionar meus toques humanos habituais porque queria ver como funcionaria por conta própria.
Aqui estão os resultados da assinatura gerada por IA. A taxa de engajamento foi de 4,06% com apenas 5 interações e 123 impressões.
Para esta primeira comparação de tweets, uma legenda escrita por humanos se saiu melhor. É por causa da falta de parênteses? Talvez, mas provavelmente não.
Existem vários fatores que podem ter afetado a eficácia deste tweet, então vamos tentar novamente com um tipo diferente de tweet.
Tweet nº 2: Tweet com um link
Para minha próxima comparação, eu queria ver como seria o desempenho de um tweet com um link. Parafraseei um artigo que escrevi sobre os tipos de planos de carreira para pessoas que trabalham com marketing de conteúdo (principalmente freelance e cargos internos).
Aqui está um tweet que escrevi:
Com todas as inseguranças de trabalho com as quais muitos têm lidado ultimamente, este artigo que escrevi para @superpathco parece um lembrete oportuno.
Ser freelancer não deve ser uma decisão de tudo ou nada! Muitas das pessoas com quem falei para este artigo fazem isso paralelamente ou entre empregos. https://t.co/EI8rePLBuS
E aqui estão os resultados deste tweet. A taxa de engajamento foi de 8,47% com 32 interações e 378 impressões.
Este tweet incluía um link para um artigo e uma menção à marca para a qual o escrevi. Este tweet teve mais alcance do que meu tweet anterior e suspeito que seja porque a marca que mencionei o retweetou. Verifiquei as análises integradas do Twitter em busca de métricas adicionais e este tweet recebeu 21 divulgações detalhadas e cinco cliques no link. Interessante!
Para uma legenda escrita por IA, recentemente parafraseei o mesmo artigo e criei um tweet para ele. Continha também um link e uma menção (que tive que acrescentar), mas não alterei nada no texto que gerou.
“É bom saber que o freelancer existe caso minha carreira me leve por esse caminho novamente!” @superpathco
Aqui estão os resultados finais deste tweet. Gerou uma taxa de engajamento de 7,5% com apenas 6 interações e 80 impressões. Também verifiquei as análises do Twitter para este tweet e recebi uma divulgação detalhada e dois cliques no link.
Meu tweet escrito por humanos superou o tweet gerado por IA nesta rodada. Embora a taxa de engajamento tenha sido praticamente a mesma, o tweet que escrevi obteve quatro vezes mais impressões, provavelmente porque foi retuitado.
Uma legenda gerada por IA funcionaria melhor se também fosse retuitada? Talvez. Ele receberia mais cliques no link se tivesse mais alcance? Talvez. Mas você também pode argumentar que não foi retuitado ou clicado tanto porque o título em si não era tão envolvente.
Vamos fazer outro teste.
Tweet nº 3: Tweet de link visual
Para minha última comparação de tweets, queria incluir algo visual para ver como isso afetava o engajamento e o alcance. Para comparação, usei dois artigos que escrevi para o Hootsuite. (Novamente, como estou usando Lately para este experimento, os tweets deveriam ter sido baseados em um longo conteúdo.)
Cada um deles tem uma imagem em miniatura semelhante e aparecerá igual no feed. Além disso, ambos os artigos abordam um tópico semelhante – acessibilidade social – para que seu conteúdo possa ser comparado de forma justa.
Aqui está o primeiro tweet que compartilhei com a legenda que escrevi.
Se você trabalhou em mídia social nos últimos anos, sabe que acessibilidade e inclusão digital são as principais prioridades.
Em minha última postagem para @hootsuite, explico por que o texto alternativo do Facebook é uma maneira de tornar seu conteúdo mais acessível e detectável. https://t.co/huQ5AksuCg
Este tweet gerou uma taxa de engajamento de 5,71% com um total de 8 interações e 140 impressões. Teve duas curtidas e um comentário. De acordo com as próprias análises do Twitter, este tweet também recebeu um clique no link e cinco detalhes.
Recentemente, criei um tweet para outro artigo que escrevi sobre um tópico semelhante sobre as legendas automáticas do TikTok. Devo observar que a IA parafraseou o artigo da primeira parte do tweet, mas tive que adicionar uma segunda linha para algum contexto e incluir uma menção, como fiz no meu primeiro tweet.
Você quer que mais pessoas assistam aos seus vídeos do TikTok? Torne a experiência de visualização o mais acessível e agradável possível adicionando legendas automáticas.
Leia mais sobre assinaturas automáticas em meu primeiro artigo para @hootsuite: https://t.co/JhSjH0TQ0g.
Em suma, este tweet não funcionou. Quase não teve alcance ou engajamento – sem curtidas, comentários, retuítes, cliques em links. Mas recebeu várias extensões de detalhes.
Mais uma vez, um tweet escrito por humanos superou o texto gerado por IA.
o que os resultados significam?
Por fim, todos os meus tweets escritos por humanos tiveram um desempenho melhor do que as legendas escritas por IA. Admito que não tenho muitos seguidores em minha conta pessoal do Twitter, então nenhum desses números é muito empolgante. Mas acho que eles demonstram (em uma escala muito pequena) que tweets mais humanos ressoam melhor na plataforma.
Aqui estão algumas das minhas descobertas deste experimento:
Legendas escritas por inteligência artificial podem economizar tempo
Para ser honesto, posso ser um escritor, mas levo muito tempo para escrever um tweet, especialmente um que parafraseie um longo artigo. Fiquei impressionado com a rapidez com que a ferramenta de IA foi capaz de criar legendas, mesmo que não estivessem prontas para serem publicadas.
Quer você seja naturalmente bom em escrever ou não, criar legendas criativas toda semana consome tempo e energia de suas outras tarefas, como criar estratégias ou interagir com seus seguidores. Portanto, quando seu trabalho é escrever dezenas de legendas sociais em um determinado dia ou semana, usar uma ferramenta de IA pode economizar muito tempo.
Uma ferramenta como o Lately é especialmente útil se você usa o Twitter para compartilhar conteúdo longo, como postagens de blog. Essa ferramenta pode criar dezenas de legendas a partir de uma única peça, o que significa que você pode criar um trabalho de legenda do Twitter de um mês em minutos.
Letras escritas por IA ainda precisam de contato humano
Como Lately gerou dezenas de legendas para cada artigo que eu dei, muitas legendas não entraram na lista. Alguns deles eram decentes, mas outros eram apenas confusos e exigiam muita edição.
Se você estiver usando uma ferramenta de legenda, ainda precisará revisá-la e editá-la, pelo menos inicialmente – especialmente para adicionar voz.
As ferramentas de IA geralmente não entendem todo o contexto de um tweet e não reconhecem imediatamente a voz da sua marca. A maioria das ferramentas de IA precisa ser treinada para entender melhor o que você deseja que elas façam e definir o tom certo para sua marca. Essas ferramentas podem levar tempo para pegar, mas quanto mais você as usa e ajusta o que elas escrevem, melhor elas se adaptam.
Quão diretamente as legendas escritas por IA afetam o alcance? O júri ainda não saiu. No meu experimento, todas as minhas legendas escritas por humanos tiveram mais alcance do que legendas escritas por IA, mas isso pode ser porque o conteúdo em si repercutiu mais. É difícil dizer se a plataforma sabia que os tweets escritos por IA foram realmente escritos por IA. Mas se eu tivesse que adivinhar, diria que o Twitter não penaliza você por usar IA para escrever suas legendas.
Por fim, se você for usar IA para escrever suas legendas no Twitter, pense nelas mais como um ponto de partida. Você terá que usar sua experiência social para torná-los atraentes e prontos para publicação, mas poderá removê-los muito mais rápido do que se estivesse começando do zero.
Deixe um comentário