Что именно происходит в этой последовательности javascript?

Зачем нужен / g?

Поскольку предположительно у вас будет несколько пар в строке соответствия, например a:'b' c:'d'

Что именно передается в функцию?

Функция обратного вызова получает полное совпадение в качестве первого аргумента, два последующих аргумента - это группы захвата, указанные в вашем регулярном выражении.

Например:

"a:'b' c:'d'".replace(/(\b[^:]+):'([^']+)'/g, function ($0, param, value) {
    console.log($0, param, value);
});

Обратный вызов будет выполнен дважды, и он покажет вам "a:'b'" для $0, "a" для param и "b" для value при первом исполнение.

Во втором выполнении -для второго совпадения- вы увидите "c:'d'" для $0, "c" для param и "d" для значения.