Análises de convergência e consistência de métricas de ranqueamento

Abstract

Cada vez mais interagimos com sistemas de buscas e esses sistemas contam com uma base crescente de documentos para filtrar e ordenar. Para avaliar a qualidade desses sistemas, diversas métricas de ranqueamento estão disponíveis com características específicas que devem encaixar no cenário de recuperação de informação. Com o advento de novas técnicas como uso de aprendizado de máquina em ranqueamento, também se espera algumas características numéricas das métricas que as tornem bons objetivos de otimização. Algumas destas métricas mais usadas como o NDCG@k possuem propriedades numéricas particulares que exigem atenção, especialmente ao analisar resultados de experimentos isolados. Neste trabalho demonstramos o comportamento assintótico desta e algumas variantes de métricas de ranqueamento mais utilizadas e apresentamos uma variante do NDCG que experimentalmente preserva suas características positivas enquanto mitiga características indesejadas.