На странице есть глобальная переменная, содержащая объект, для которого я бы хотел настроить парсер. Как лучше всего сделать это с помощью Node / Express / потенциально Cheerio?

Я понимаю преимущества Cheerio при обходе DOM, но я знаю имя глобальной переменной, которую хочу очистить, и мне просто нужно извлечь ее информацию по заданному расписанию.

node.js express web-scraping cheerio
0
lfkwtz 8 Янв 2017 в 22:23
Что такое «глобальная переменная на странице»? вы имеете в виду переменную javascript в коде, вставленном на страницу?
 – 
PA.
8 Янв 2017 в 22:38
Ага. На веб-сайте есть глобальная переменная, которая является объектом. Если я перейду на этот сайт и введу это имя переменной в свою консоль, он вернет нужный мне объект. Есть ли способ с помощью Node I очистить эту переменную?
 – 
lfkwtz
8 Янв 2017 в 22:43

1 ответ

Лучший ответ

Cheerio - это просто синтаксический анализатор dom, поэтому у вас не будет доступа к любому javascriot или любому сгенерированному javascript контенту.

Вам нужно что-то вроде PhantomJS, имитирующего браузер. Взгляните на этот ответ на Stackoverflow

2
Community 23 Май 2017 в 15:01
Спасибо, это похоже на то, что мне нужно
 – 
lfkwtz
9 Янв 2017 в 18:12

Похожие вопросы

3 Как эффективно выполнять парсинг веб-страниц в Node.js?
3 как получить содержимое переменной javascript, используя cheerio (jquery как селекторы, но не dom)
1 Как я могу получить селекторы CSS для элемента по значению в NodeJS?
1 Глобальная переменная для Node Express
3 Как избежать глобальных переменных в node/express
1 Node JS Используйте Cheerio для очистки видео с YouTube

Связанные вопросы

2 Чтение переменной javascript с веб-сайта с использованием PhantomJS
1 Узел запрашивает HTML-доступ к глобальным переменным
💵 Получи $100 на хостинг на 60 дней.
Регистрируйся!

Новые вопросы

1 Подключитесь к Elasticsearch в приложении Fastify с именем пользователя и паролем через пакет @fastify/elasticsearch.
1 NodeJS — возврат «неопределенного»
1 Node.js TypeError: admin.firestore(...).collection(...).doc(...).get(...).data не является функцией
1 Данные источника данных не заполняются
1 Как прикрепить PDF к отправке электронной почты с помощью AWS Lambda и SendGrid
2 Экспресс-маршруты с Socket IO Node JS
1 Как я могу создать систему аутентификации на стороне сервера с помощью express.js и firebase?
1 Выполнение функции заняло 540029 мс, завершено со статусом: «тайм-аут».
2 Доступ к XMLHttpRequest заблокирован CORS при отправке данных из внешнего интерфейса в серверный с использованием POST.
1 Как я могу использовать динамическое значение для оператора MongoDB $inc?
Все вопросы по теме node.js >

node.js

Node.js — это основанная на событиях, неблокирующая, асинхронная среда выполнения ввода-вывода, использующая движок Google V8 JavaScript и библиотеку libuv. Он используется для разработки приложений, которые интенсивно используют возможность запуска JavaScript как на стороне клиента, так и на стороне сервера и, следовательно, выигрывают от возможности повторного использования кода и отсутствия переключения контекста.

Подробнее про node.js...