Model selection consistency of generalized information criteria for m-estimators in high dimensions: a unified framework

Abstract

Regularized M-estimators are widely used in science, due to their ability to fit a simpler, low- dimensional model in high-dimensional scenarios. Some of the recent efforts on the subject have focused on the creation of a unified framework, and the establishment of sufficient conditions for consistency and model selection consistency. We use that same general setting to derive sufficient conditions for Model Selection consistency of the GIC and the Pathconsistency of regularized M-estimators. Here, Pathconsistency means that a sequence of submodels contains the true model with probability converging to one. This allows the practical use of the GIC for Model Selection in high-dimensional scenarios. We illustrate those conditions on some examples, including the estimation of the support of sparse and group sparse vectors, with various loss functions.

M-estimadores regularizados são altamentes utilizados nas ciências, por conta das suas habil- idades em ajustar modelos mais simples, de baixa dimensão, em cenários de alta dimensão. Alguns esforços recentes nessa área focaram na criação de um arcabouço teórico unificado, e no estabelecimento de condições suficientes para consistência e consistência em seleção de modelo. Neste trabalho, nós usamos o mesmo arcabouço para provar consistência de seleção de modelo do GIC e a Pathconsistency de M-estimadores regularizados. Neste caso, Pathconsistency significa que uma sequência de submodelos contém o modelo real com probabilidade convergindo à um. Isso possibilita o uso do GIC para seleção de modelo em alta dimensão. A seguir, nós ilustramos essas condições em alguns exemplos, incluindo a estimação do suporte de vetores esparsos e grupo-esparsos, para algumas funções de perda.