Como medir produtividade depois de implantar IA

Medir produtividade depois de implantar IA é mais difícil que medir o custo dela, e é a pergunta que o conselho faz primeiro. O erro que inutiliza a maioria das medições é escolher o indicador depois de implantar, quando já não existe linha de base para comparar e qualquer número vira interpretação.

Este texto descreve o que medir, quando começar a medir e como separar ganho real de ganho aparente. A tese é simples: tempo economizado não é produtividade, é capacidade liberada, e ela só vira resultado quando alguém decide o que fazer com ela.

A linha de base vem antes

Quase toda medição frustrada tem a mesma causa: ninguém registrou como era antes. Sem isso, a comparação vira memória, e memória favorece a decisão que já foi tomada.

A linha de base útil é modesta e cabe em duas semanas de observação, antes do piloto. Para o processo escolhido, registre quatro coisas: quantas vezes ele acontece por semana, quanto tempo leva cada vez, com que frequência precisa ser refeito e quanto tempo a pessoa espera por alguém. As duas últimas costumam ser maiores que a primeira, e são onde o ganho real aparece.

Vale medir com amostra, não com precisão contábil. Vinte ocorrências cronometradas dizem mais que uma estimativa de todo mundo, e custam uma tarde.

Por que tempo economizado engana

Dizer que a ferramenta economiza trinta minutos por pessoa por dia e multiplicar pela equipe produz um número grande e falso. Ele assume que o tempo liberado foi reaplicado em algo de valor equivalente, o que quase nunca acontece sozinho.

Tempo liberado em pedaços pequenos e espalhados tende a ser absorvido pela própria rotina. Para virar resultado, ele precisa ser consolidado e redirecionado por decisão explícita: mais atendimento no mesmo time, prazo menor de entrega, absorver crescimento sem contratar, ou realocar pessoas para trabalho que estava parado.

Por isso a pergunta que separa medição honesta de teatro é: o que a empresa passou a fazer que não fazia antes, ou deixou de pagar. Se nenhuma das duas mudou, o ganho é potencial, e deve ser reportado como tal. É o mesmo raciocínio da conta descrita em como calcular o ROI.

As quatro famílias de indicador

• Volume por pessoa. Atendimentos, propostas, documentos, chamados resolvidos. É o indicador mais direto, e só vale acompanhado de qualidade.
• Tempo de ciclo. Quanto leva do início ao fim de uma unidade de trabalho, incluindo espera. Costuma melhorar mais que o tempo de execução, porque a espera é o maior componente.
• Retrabalho. Percentual do que precisa ser refeito. É o indicador que mais revela problema escondido, porque ganho de velocidade com aumento de retrabalho é perda disfarçada.
• Custo por unidade. Custo total da operação dividido pelo volume entregue, com a licença incluída. É o número que a diretoria entende sem tradução.

Duas dessas quatro bastam para o primeiro ciclo, e a escolha depende do processo. Em atendimento, tempo de ciclo e retrabalho. Em produção de documento, volume e retrabalho. Em operação com custo relevante, custo por unidade sempre. Quando o que se mede é um assistente sobre a base interna, entra um quinto indicador próprio daquele caso, o percentual de respostas com fonte citada, descrito em copiloto interno.

Medir qualidade junto, sempre

Indicador de volume isolado produz o pior incentivo possível, porque é facilmente melhorado com queda de qualidade que não aparece no número. Toda medição de produtividade precisa de um contrapeso medido no mesmo período.

Os contrapesos que funcionam são específicos por área: taxa de reabertura em suporte, índice de correção em documento, devolução em operação, reclamação por mil atendimentos. O critério é que o contrapeso seja medido por outra pessoa que não a beneficiada pelo indicador principal.

Há um cuidado adicional quando a saída do modelo chega ao cliente: parte dos problemas de qualidade não aparece como reclamação, aparece como abandono silencioso. Nesses casos vale acompanhar também a taxa de escalonamento para humano, que costuma ser o primeiro sinal, como descrito em agente de IA para atendimento e vendas.

Adoção é o indicador que antecipa os outros

Antes de qualquer ganho aparecer, é preciso saber se a ferramenta está sendo usada, e a resposta honesta costuma ser desconfortável. O indicador útil não é quantas pessoas têm acesso, é quantas usaram na semana passada, e quantas usaram nas quatro últimas.

Uso que cai depois de duas semanas tem três causas típicas, e vale diagnosticar em vez de insistir. A resposta não foi confiável o bastante para virar hábito. A ferramenta ficou fora do fluxo de trabalho, exigindo abrir outra tela. Ou o processo tem exigência de conferência que anula o ganho.

Adoção baixa invalida qualquer leitura dos outros indicadores, porque o ganho medido em cinco entusiastas não se projeta para a equipe.

O problema da atribuição

Empresas mudam várias coisas ao mesmo tempo, e quase sempre há um processo novo, uma contratação ou uma sazonalidade competindo pela explicação do resultado.

Três recursos reduzem a ambiguidade sem exigir experimento formal. Comparar dois times parecidos, com um deles adotando depois, é o mais simples e o mais convincente. Comparar o mesmo time com o mesmo período do ano anterior controla sazonalidade. E registrar as outras mudanças do período, em uma lista curta, evita a disputa de crédito que aparece na apresentação.

Vale resistir à tentação de isolar o efeito com precisão científica. A decisão que o número apoia é continuar, ampliar ou parar, e para isso basta saber se o movimento é consistente e grande.

Quando ler o resultado

Ler cedo demais é o erro mais comum, e produz duas conclusões erradas em sequência. Nas primeiras semanas há queda de produtividade, porque as pessoas estão aprendendo e conferindo tudo. Logo depois há um pico de entusiasmo que também não é o patamar real.

A leitura que vale é a do terceiro mês em diante, quando o uso já é rotina e a conferência caiu para o nível que vai permanecer. Antes disso, o que se acompanha é adoção e qualidade, não ganho.

Vale fixar a data da leitura antes de começar, junto com o critério de decisão. Definir depois é o que transforma avaliação em justificativa do que já foi decidido, padrão que aparece em boa parte dos casos de por que a inteligência artificial falha nas empresas.

Como reportar para a diretoria

1. O que era antes, com o número da linha de base e como ele foi medido.
2. O que é agora, no mesmo indicador e no mesmo recorte de tempo.
3. O contrapeso de qualidade, para mostrar que o ganho não veio de queda de padrão.
4. O que mudou na operação por causa disso, em decisão concreta: prazo, capacidade, quadro, custo.
5. O que ainda é potencial, separado do realizado, com o que falta para virar resultado.

Cinco itens em uma página. O item quatro é o que distingue relatório útil de relatório bonito, e o item cinco é o que preserva a credibilidade da próxima medição.

Por onde seguir

A conta de retorno completa, com custo e horizonte, está em como calcular o ROI, e as linhas de custo que entram nela em quanto custa criar uma IA. Para escolher o próximo processo a medir, o critério está em IA para empresas, e quando o ganho depender de mudar o fluxo antes, e não de ferramenta, o caminho é automação de processos e como mapear um processo. Se os indicadores não existirem de forma confiável, o problema antecede a IA e está em business intelligence para empresas. E quando a capacidade liberada for grande o bastante para mudar o que a empresa oferece, a discussão passa a ser de portfólio, em estratégia de produto.

Perguntas frequentes