O malloc precisa receber o endereço de alocação desejado.

O valor do parâmetro x não é um endereço de ponteiro. Portanto, não poderá armazenar o valor retornado por malloc.

O valor passado na chamada da função f deve ser o endereço de um vetor de inteiros estático, que receberia o endereço da primeira posição do vetor alocado por malloc.

O bloco de memória alocado por malloc será desalocado quando a função f terminar sua execução.

O código está sintaticamente correto. Entretanto, após a execução de f as variáveis a e b vão representar a mesma área de memória.