Um resultado esperado claro
Declare o que você está mudando, qual público ou conjunto de perguntas isso deve afetar e como você espera que a visibilidade mude.
Experimentos de prompt de IA
Testar se uma mudança está associada a um aumento de visibilidade repetível.
Compare dois grupos de prompts em uma plataforma de IA, repita a medição automaticamente e veja se uma diferença de visibilidade observada se repete. Trate o resultado como evidência de associação, não como prova de causalidade.
Um teste justo e repetível
Separe um movimento promissor de um resultado repetível
Uma tendência do painel pode indicar que a visibilidade mudou. Um experimento registra o que você esperava, compara dois grupos de prompts na mesma plataforma de IA e repete a medição antes de considerar um grupo como uma sinalização confiável.
Dois grupos de prompt
Atribua pelo menos cinco prompts monitorados ou personalizados aos grupos de controle e variante para que ambos possam ser medidos repetidamente.
Uma plataforma de IA selecionada
Escolha a plataforma de IA onde a mudança é importante. Cada experimento usa uma plataforma para que o resultado permaneça claro.
Configuração em três etapas
Crie o teste a partir de prompts já em seu espaço de trabalho
A configuração mantém juntos o resultado esperado, os grupos de prompts, a plataforma de IA e a revisão final do lançamento.
Defina a hipótese
Dê um nome ao experimento, explique o que você está mudando e explique por que ele deve mudar a visibilidade.
Escolha os grupos de prompts
Escolha prompts de controle e variante do seu conjunto monitorado ou adicione um prompt personalizado com seu contexto de mercado.
Escolha a plataforma de IA e lance
Selecione um modelo disponível, revise as contagens de prompts e o resultado esperado e, em seguida, inicie ou salve o experimento como rascunho.
Uma pontuação de visibilidade, três componentes
Veja o que criou a diferença entre os dois lados
O aumento do título mostra o resultado geral. A divisão dos componentes mostra se a diferença veio de aparecer com mais frequência, aparecer com mais destaque ou ganhar espaço na resposta competitiva.
Frequência de menção
A consistência com que a marca aparece nas respostas de cada lado do experimento.
Mencione Qualidade
Quão proeminente a marca aparece quando o modelo selecionado a inclui em uma resposta.
Share of Voice
Quanta atenção a marca recebe em comparação com outras marcas no grupo de prompts selecionado.
Corridas repetidas + confiança
Observe o resultado crescer em vez de julgar uma resposta
Observe a evolução das duas pontuações a cada nova execução e veja quando a diferença se torna consistente o suficiente para ser confiável.
01Pontuações de controle e visibilidade de variantes
02Aumento percentual e diferença de pontos
03Tendência de visibilidade nas execuções coletadas
04Progresso em direção às execuções mínimas e à próxima execução programada
05Se a diferença é consistente o suficiente para confiar
06O grupo líder atual
Quando a evidência estiver pronta
Transforme o resultado em uma próxima etapa clara
Quando a diferença se torna consistente o suficiente para ser confiável, o experimento mostra o grupo líder e as próximas opções disponíveis para sua equipe.
Use a direção mais forte
Use o grupo líder como evidência para o próximo ciclo de implementação ou teste, sem tratar as diferenças entre grupos de prompts como prova de causalidade.
Corra por mais tempo
Continue coletando testes repetidos quando o resultado precisar de mais evidências.
Conclua como inconclusivo
Mantenha o aprendizado sem tratar nenhum dos lados como um vencedor comprovado.
Monitoramento + experimentação
Mantenha o monitoramento diário separado de um teste com escopo definido
Seu conjunto de prompts personalizados continua sendo a visão diária da visibilidade atual da IA. Um experimento fornece a um resultado esperado seus próprios grupos de controle e variantes, plataforma de IA, execuções repetidas e verificação de confiança.
Em andamento
Monitoramento de prompts
Monitore as questões importantes para o negócio e abra as respostas originais por trás de cada resultado.
Teste com escopo
Experimento de prompts
Teste um resultado esperado claro com grupos de controle e prompt de variantes em uma plataforma de IA selecionada.
Continue com a friction AI
Choose the right questions, make the change, and inspect the proof
Start with your custom prompt set, use Actions to find an improvement worth making, and keep every experiment connected to the original AI answers.
Escolha as questões para testar
Crie e edite o conjunto de prompts que rastreia as decisões dos clientes mais importantes para o seu negócio.
Explorar recursoEncontre uma mudança que vale a pena testar
Audite seu site, perfis, canais e cobertura de terceiros para identificar uma melhoria prática.
Explorar recursoInspecione as respostas por trás do resultado
Abra a pergunta do cliente, a resposta original da IA, a plataforma, os concorrentes e as fontes de suporte.
Explorar recursoPerguntas frequentes
Como funcionam os experimentos de prompt de IA
O que é um experimento de prompts de IA?
Um experimento de prompt de IA compara grupos de prompt de controle e variante em uma plataforma de IA selecionada. A friction AI repete a medição, mostra a diferença de visibilidade e informa se essa diferença é consistente o suficiente para ser confiável.
Quantos prompts cada lado precisa?
Cada experimento requer pelo menos cinco prompts de controle e cinco prompts de variante antes de poder ser iniciado. Os prompts podem vir do espaço de trabalho monitorado ou ser adicionados como prompts personalizados em um mercado.
Um experimento é executado em todas as plataformas de IA?
Não. Cada experimento é executado em uma plataforma de IA selecionada. As opções ChatGPT, Claude, Gemini e Perplexity estão disponíveis de acordo com o plano de conta. Use experimentos separados quando precisar testar outra plataforma.
Qual métrica o experimento rastreia?
Os experimentos atuais monitoram a visibilidade. Os resultados também dividem essa pontuação de visibilidade em frequência de menção, qualidade de menção e Share of Voice para que você possa ver o que criou a diferença.
Com que rapidez um experimento começa?
Após o lançamento, a primeira execução está agendada para dentro de quatro horas. O experimento então se repete automaticamente e mostra a próxima execução programada, o progresso em direção ao mínimo e os resultados atuais.
Como devemos interpretar o resultado?
Cada grupo precisa de pelo menos cinco prompts. As execuções programadas comparam a visibilidade dos grupos em uma plataforma de IA selecionada e mostram a pontuação de cada grupo, o aumento observado, as execuções coletadas e a confiança atual. Como os grupos podem conter prompts diferentes, o resultado mostra uma associação entre o grupo de prompts e a visibilidade; não prova que uma alteração isolada no conteúdo causou a diferença.
Que informações estatísticas são reportadas?
Quando execuções programadas suficientes forem coletadas, a análise registra o tipo de teste usado, os tamanhos e as médias das amostras de controle e variante, a variabilidade, o tamanho do efeito, o valor p e o limite de significância configurado. As respostas repetidas da IA são medições dentro de execuções programadas, e não observações independentes do comportamento do cliente.
A friction AI publica a mudança de conteúdo?
Não. Sua equipe faz a alteração no site ou canal relevante. A friction AI fornece a estrutura do experimento e mede o resultado da visibilidade na plataforma de IA selecionada.
Pare de adivinhar qual mudança mudou a visibilidade
Defina a hipótese, lance o experimento de prompts e deixe que repetidas execuções construam as evidências.