Amigo, por lo que he visto el marcador o símbolo se mantiene en el tamaño que configures, independientemente que te acerques o alejes, si defines en la simbología en pixeles.
Más bien lo que podría interesarte es lo contrario, que el símbolo se haga más pequeño a medida que te alejas (aumenta la escala) y disminuye cuando nos acercamos, si estas utilizando QGis3 (porque no recuerdo en la anterior) la solución es sencilla, sino tienes esta opción:
Hacer de la siguiente forma, en simbología en la opción del tamaño, le das clic al botón que esta al extremo derecho de la pestaña, esto abrirá el dialogo de expresiones
En dicho dialogo en el medio están las funciones, al final están las variables una de ellas es map_scale, esta variable te arroja la escala actual de la ventana, define una ecuación que aumente o disminuya el tamaño de la etiqueta en función de la escala
Si estas en QGis3 en la opción unidades si defines en pixeles, el tamaño de la etiqueta se mantendrá igual sin importar la escala; si escoges la opción unidades del mapa, defines un tamaño en valores del terreno