WP_Query - Ordenar resultados por valor meta

He comprobado y no he visto una respuesta que funcione hasta ahora. Tengo una WP_Query con los siguientes argumentos:

$args = array(
    'post_status' => 'publish',
    'post_type' => 'listing',
    'meta_key' => 'client_feedback_score',
    'orderby' => 'client_feedback_score',
    'order' => 'DESC'
        );

$query = new WP_Query($args);

Quiero ordenar los resultados por el campo de publicación personalizado 'client_feedback_score', de menor a mayor. Pero esto no parece funcionar ... ¿Alguien puede indicarme la dirección correcta?

EDITAR (SOLUCIONADO):

Gracias a la respuesta de Milo, aquí está el código de trabajo para ordenar mediante un valor meta numérico:

$args = array(
            'post_status' => 'publish',
            'post_type' => 'listing',
            'meta_key' => 'client_feedback_score',
            'orderby' => 'meta_value_num',
            'order' => 'DESC'
        );