Как изменить размер группы контуров в PaperJS

Главное - использовать аргумент point метода item.scale().
Он позволяет масштабировать элемент вокруг произвольной точки, а не вокруг его центра, что является поведением по умолчанию.
Вы также должны отменить групповое перетаскивание, когда операция масштабирования активна, как вы уже сделали с вращением.
Вот эскиз демонстрирующее упрощенный решение вашей проблемы (только Handl es равномерное масштабирование), который должен направить вас на правильный путь.