¿Cómo evaluar a tus jugadores con criterios consensuados por el cuerpo técnico?

Dentro de un equipo siempre existe la necesidad de evaluar de la forma más objetiva posible el rendimiento de cada jugador dentro de un partido.

El objetivo es establecer criterios de evaluación de tus jugadores cuya importancia venga determinada por el consenso de los técnicos y entrenadores de un equipo.  De esta forma se podrá disponer de un esquema de valoración de tus jugadores adecuado para el perfil del equipo y el propósito del mismo. 

El ejemplo que vamos a utilizar es la evaluación de los porteros, que ya habíamos tratado en alguna entrada anterior del blog y que es una pieza esencial para el resultado de los equipos de balonmano. 

La primera etapa es la definición de los indicadores a evaluar. Esto se puede realizar en dos pasos. 

1. Tomar una referencia base de indicadores, en el ejemplo van a ser los indicadores que se han registrado para el Europeo masculino celebrado en Enero de 2020. Tanto desde el punto de vista de paradas como de las posibles acciones de ataque que pueda realizar el portero (goles, asistencias, etc.). Se tienen en cuenta todas las acciones recogidas por la EHF en dicho Europeo, y que se recogen en actas con las estadísticas. Se ha automatizado el procesamiento de los pdf y se cargan todos los datos del Europeo de forma automática.









http://home.eurohandball.com/ehf_files/specificHBI/ECh_Analyses/2020/ANS/2/1/DEN.PDF

2. Modificarlo mediante la opinión de algún experto externo o interno al club, por ejemplo el entrenador principal.  En nuestro ejemplo vamos a incluir además de los indicadores de las estadísticas, las estadísticas de los lanzamientos que van fuera, por la posible influencia del portero en estos errores. Se amplia para intentar recoger todas las acciones relevantes en las que interviene un portero de balonmano durante el transcurso del partido, está demostrado que un portero que está parando mucho influye en que los lanzamientos terminen fuera.

La segunda etapa es la encuesta. Se seleccionan a aquellos expertos o miembros del staff técnico que van a participar en la valoración de los indicadores (se puede incluir a los jugadores si se estima oportuno). Cada una de las personas seleccionadas tendrá que valorar cada uno de los indicadores según la importancia que le da para evaluar el rendimiento del jugador. Su valoración vendrá dada en una escala de 3 o 5 niveles según se prefiera. El peso de las valoraciones finales de los expertos vendrá dado por su nivel de experiencia.   

Es decir, si dentro de nuestro staff disponemos de entrenadores de diferentes niveles (nacionales, locales, etc.) tendrá más pesos la opinión de los expertos de más nivel. Se puede incluir la opinión de los jugadores con menor peso si se estimara oportuno. En este caso se diseñó una encuesta para evaluar cada uno de los indicadores en tres niveles de importancia en base a etiquetas lingüísticas. Se puede ver el ejemplo en el siguiente Formulario de Encuesta . Esta encuesta se pasó a 30 entrenadores, tanto de balonmano masculino como femenino y se les distribuyó en 3 niveles de experiencia.  También se puede hacer a un grupo más reducido de participantes, buscando que exista la representatividad suficiente de lo que existe en el club. Los resultados de la encuesta se pueden observar en el siguiente mapa de calor (azul oscuro: muy importante, azul claro: importante, blanco, poco importante).

La tercera etapa es el cálculo de los pesos de cada indicador en la valoración de los jugadores, para ello es necesario ejecutar tres tareas:

1. Verificación de Consenso: Se comprueba si hay suficiente consenso entre las opiniones recabadas de los participantes. Se siguen criterios matemáticos para poder calcular el grado de disparidad que existe entre los participantes en la encuesta, es decir, se utilizan funciones de que miden cuán cercanas son las opiniones o preferencias de los expertos Si no es así es necesario hacer un proceso adicional que permita reducir esa disparidad que bien podrá ser una segunda vuelta de encuestas previa publicación del resultado obtenido, o una ronda de consultas sobre los indicadores que generan la disparidad. 
2. Agregación de Opiniones: La agregación es el proceso de unificación de las opiniones de todos los participantes, es decir, se combinan las etiquetas lingüísticas que se han elegido en las encuestas. Para ello se han utilizado técnicas de Lógica Difusa que nos permiten manejar de forma eficaz las opiniones expresadas (para aprender más leer  Lógica Difusa. Una Introducción Práctica). De esta manera cada una de las etiquetas que representa un nivel de importancia se escala de acuerdo al número de participantes que la hayan elegido. Como resultado se obtiene, en primer lugar, una representación difusa de las opiniones para finalmente expresarlo mediante un único valor de salida: el peso que va a tener el indicador en la valoración.
3. Agregación de Pesos: Del proceso anterior cada criterio tiene su peso particular, pero muchas veces se necesita que estos pesos estén agrupados con el fin de poder decir por ejemplo "un indicador A pesa lo mismo que un indicador B". Para ello se utilizan técnicas de agrupamiento (clustering) que permite asignar a los indicadores que han tenido opiniones similares de los expertos. Se utiliza un clustering jérárquico con la finalidad de poder observar las diferentes relaciones de similitud que hay entre los indicadores. 

El resultado final es el siguiente:

De esta forma se dispone de un esquema de valoración de jugadores para la temporada que aúna los criterios del staff técnico y que puede adecuarse al modelo de juego del equipo. Por ejemplo, si el equipo está más focalizado en el contrataque entonces los indicadores relacionados con el serán los más importantes para la valoración del equipo dado que los miembros del staff lo habrán puntuado como más importante. En el caso concreto del portero, si el equipo quiere jugar al contraataque será muy importante su saque, el error se debe penalizar más.

Esta aproximación para la evaluación de jugadores se ha publicado en la revista: International Journal of Computational Intelligence Systems con el título:  A Fuzzy Framework to Evaluate Players' Performance in Handball (https://doi.org/10.2991/ijcis.d.200416.001)

Como conclusiones finales con esta investigación se consiguen las siguientes ventajas:

1. Automatizar el proceso de captura de todos los datos recogidos por la EHF en el Europeo de Balonmano 2020.
2. Se amplió la captura de datos, tras tener en cuenta la opinión experta, recogiendo del play-by-play mediante un script de programación. todos los tipos de lanzamiento que terminaron fuera. Estos datos sumarán también a la evaluación de los porteros en los partidos aunque tengan menor valor que las paradas.
3. Se establecen todos los pesos de las distintas acciones relevantes en un partido en base al modelo de juego u opinión del staff técnico de un club, federación territorial o nacional. Pudiendo tener en cuenta opinión de los jugadores si se estima oportuno. 
4. Otro aspecto a destacar es que se puede dar un valor distinto a las opiniones de las encuestas. Es decir, la opinión del entrenador del primero equipo del club puede pesar más que la de un jugador o entrenador de base por ejemplo.