A prova
Phone PCC 0.682 contra consenso humano 0.555.
PCC — coeficiente de correlação de pronúncia — mede o quão perto os scores automáticos de fone ficam do consenso de avaliadores humanos treinados. No conjunto público que usamos, dois humanos treinados concordam entre si em 0.555 (nível de fone). O motor de produção que pontua a ferramenta grátis está em 0.682 contra esse mesmo consenso.
| Avaliador | Phone PCC |
|---|---|
| Motor de produção (ferramenta grátis) | 0.682 |
| Dois humanos treinados entre si | 0.555 |
O que o número é, e o que não é
Não é “a máquina é melhor do que o professor”. O professor ainda decide a aula. É: no grão do fonema, os scores do motor ficam mais perto de um painel treinado do que dois membros desse painel ficam um do outro. É a única razão de uma célula vermelha em DH /ð/ poder substituir a segunda escuta como padrão.
Nível de fone é o ponto. Score de palavra e sentenceScore são construtos diferentes (palavra é feixe de fones; sentença também mede fluência). Não cole 0.682 ao lado de uma afirmação de fluência. Cole ao lado de uma afirmação de fonema.
Como a turma deve usar — e quando largar
Use o PCC como permissão para ordenar a turma por fonemas em vez de por ouvido, em tomadas casadas: mesma frase, SNR no mínimo 15 dB, confiança no mínimo 0.5. Largue quando o próprio motor avisar — `low_snr`, `high_wer`, `low_confidence_reject`. Número de prova aplicado a ruído de cozinha deixa de ser o número de prova.
As bandas continuam sendo o guia, não o PCC: 80–100 nativo, 60–79 aceitável, 40–59 perceptível, 0–39 grave. O PCC diz que a fita vale a leitura. A fita diz qual fone ensinar.
Por que esta página existe
Toda página desta série que imprime 0.682 ou 0.555 aponta para cá. Não há um terceiro número nos bastidores. Se um parágrafo precisa de outra cifra, ele não entra nestas páginas até essa cifra ter fonte própria.