Здесь уместно задать вопросы, связанные с разработкой с использованием приложения Palantir Foundry's Code Repositories.
Нам нужно указать jobSpecOverrides в transforms-python/build.gradle, чтобы указать модуль spark предыдущей версии для использования:
jobSpecOverrides {
minimumModuleVersionOverride {
version = "1.579.0"
expiresAfter = "2022-12-30T08:00Z"
}
}
Мы всегда получаем ошибку, наприм...
24 Май 2023 в 20:56
Мне нужны расширенные геопространственные функции, которых нет в базовой библиотеке геопространственных функций Foundry, поэтому я пытаюсь добавить библиотеку st_functions из Sedona Spark. Репозиторий кода распознает пакет функций, так как при наведении указателя мыши на функцию ST_ISValid() создае...
24 Май 2023 в 20:36
У меня есть ZIP-файл, хранящийся в таблице данных литейного производства: zip_file
ZIP-файл содержит файлы, которые я хотел бы скопировать в другую папку.
from transforms.api import transform, Output, Input
import zipfile
@transform(
zip_file = Input('ri.foundry.main.dataset.123')
)
def my_comp...
17 Май 2023 в 17:17
Я пишу тест PySpark/PyTest, в котором я хотел бы использовать набор данных, который уже существует в Palantir Foundry, наряду с созданными тестовыми данными. Однако, когда я делаю набор данных доступным для тестовой функции с помощью декоратора @transform, он больше не распознает функцию как тест, ...
11 Май 2023 в 11:41
1
Почему входные данные преобразования указывают на неправильный набор данных при замене пути на RID?
В моем репозитории кода я обновил ввод, чтобы использовать новый набор данных.
Когда я заменяю имя файла RID,
Он возвращается к прежнему входному набору данных. Как добавить новый набор данных?...
8 Май 2023 в 22:01
При выполнении проверки в основной ветке (и каждой ветке, унаследованной от нее) наблюдалась следующая ошибка.
A problem occurred evaluating root project.
> Failed to apply plugin 'com.palantir.transforms-defaults'.
> ChecksException:
(TransformsGradlePlugin:NoProjectVersionSet):
...
8 Май 2023 в 20:12
Я хотел бы знать, есть ли возможность записать файл rds в файловую систему литейного производства из репозитория кода. Я знаю, что это возможно из рабочей книги кода, но я не смог найти способ применить этот подход в репозитории кода.
В этом примере я сохраняю объект lower_case как таблицу данных л...
14 Апр 2023 в 17:30
В моем репозитории кода с импортированной библиотекой мой Code Assist загружается неправильно. Это дает мне ошибку transforms-python:runVersions. Также возникает проблема nothing provides openssl 1.0.2d needed by python-2.7.11-0.
...
12 Апр 2023 в 22:02
Мы построили конвейер, который включает в себя несколько преобразований. Сегодня вся сборка конвейера завершается более чем за 30 минут, а нам нужно обеспечить доступность данных менее чем за 15 минут.
Как можно сократить общее время строительства?
Пока выполняются преобразования, мы заметили, что ...
12 Апр 2023 в 21:53
Я пытаюсь установить jobSpecOverrides в transforms-python/build.gradle, чтобы указать для использования модуль spark предыдущей версии:
jobSpecOverrides {
minimumModuleVersionOverride {
version = "1.579.0"
expiresAfter = "2022-12-30T08:00Z"...
12 Апр 2023 в 17:55
Я хочу создать инкрементный конвейер, в котором я могу получать фрейм данных предыдущего ввода в качестве вывода после каждой сборки/обновления фрейма входных данных. Мой вариант использования - обнаруживать любые изменения (удаленные/добавленные строки) во входном фрейме данных; поэтому мне нужно...
12 Апр 2023 в 17:47
В репозитории кода проверка CI не выполняется из-за тайм-аута через 20 минут, как показано на снимке экрана ниже. Как увеличить период тайм-аута?
...
12 Апр 2023 в 17:43
В нашем пайплайне у нас есть набор данных, который каждый день обновляется с помощью транзакции моментального снимка. Мы хотели бы экспортировать только новые строки каждый день, учитывая всю историю входного набора данных.
Как мы можем этого добиться? Можем ли мы использовать инкрементное преобр...
11 Апр 2023 в 17:26
У нас есть сборка, которая показывает моментальный снимок на вкладке «Журнал», но затем показывает, что задание может выполняться постепенно при просмотре сведений Spark о задании. Обязательно ли эти идеи противоречат друг другу? Если да, то какой из них правильный?
Я ожидал, что вкладка «История»...
6 Апр 2023 в 21:46
Я использую лист Fusion для создания фиктивного набора данных и хочу запустить преобразование в добавочном режиме, который принимает этот фиктивный набор данных в качестве входных данных. Когда я вручную добавляю строку в набор данных и повторно запускаю преобразование, я ожидаю инкрементного преоб...
30 Мар 2023 в 10:20
Я делаю курс udemy о прочности, и я столкнулся с этой ошибкой в контракте Foundry:
Источник «openzeppelin-contracts/contracts/token/ERC721/ERC721.sol» не найден: обратный вызов импорта файла не поддерживается
Мне удалось решить эту проблему для HARDHAT и TRUFFLE, удалив «node_modules» из аддона ...
24 Мар 2023 в 15:18
Моя сборка отлично работает в режиме предварительного просмотра, но не работает при сборке и выделяет ошибку в старой версии тега общей библиотеки, которую я использую в своем коде.
У меня есть две версии тега общей библиотеки (2.2.0, 2.2.1), и я закрепил 2.2.* в качестве версии для запуска.
Сборка ...
22 Мар 2023 в 18:47
Я сталкиваюсь с ошибкой при попытке потребовать минимальную версию Python для моей общей библиотеки в файле meta.yml (путем закрепления python >= 3.6), чтобы использовать его в различных репозиториях, поддерживающих разные версии Python (3.6, 3.8). например).
При закреплении Python >= 3.6 проверки ...
22 Мар 2023 в 17:37
Ввод моей функции представляет собой массив объектов, но я хочу преобразовать его в набор объектов, чтобы иметь возможность searchAround. Возможно ли это в рамках функции? Или мне нужно изменить вход функции, чтобы взять набор объектов...
21 Мар 2023 в 23:59
Я пытаюсь прочитать файл с расширением .mdb и превратить его в набор данных Foundry. Насколько я проверял, для файла .mdb требуется драйвер Microsoft Access, но в репозитории кода этого драйвера нет, поэтому его невозможно прочитать. (Или метод установки абсолютного пути к файлу в наборе данных мо...
21 Мар 2023 в 21:13
Я работаю над преобразованием, для которого требуется чувствительный параметр, и я хотел бы знать, есть ли способ скрыть эту информацию, например:
Вместо этого:
x = 'sensitive'
...do stuff with x
Сделай это:
x = GLOBAL_HIDDEN_VARIABLE
...do stuff with x
...
21 Мар 2023 в 18:36
Есть ли простой способ удалить определенную ветку набора данных? удаление связанной ветки разработки кода не удаляет уже встроенные в набор данных.
Насколько я понимаю, должна быть возможность удалить их через API (см. https://www.palantir.com/docs/foundry/api/datasets-resources/branches/delete-bra...
21 Мар 2023 в 00:22
У меня есть конвейер данных PySpark, который я хочу параметризовать в Foundry. Как я могу заставить Foundry читать «файл конфигурации» при запуске конвейера?
Я хочу, чтобы конвейер был гибким и параметризуемым, но если я определяю параметры в коде, мне нужно будет фиксировать каждое изменение этих ...
17 Мар 2023 в 22:54
Используя API, который дает мне список проектов по RID, я хочу знать, возможно ли узнать имя каждого проекта. например, этот рид «ri.compass.main.folder.*****», связанный с именем папки «Mehdi», есть ли способ сделать это в репозитории кода?
Я не нашел API для этого!
Заранее спасибо...
2 Мар 2023 в 13:13
Я пытаюсь объединить 2 фрейма данных, чтобы оба имели следующие именованные столбцы. Как лучше всего сделать соединение LEFT OUTER?
df = df.join(df_forecast, ["D_ACCOUNTS_ID", "D_APPS_ID", "D_CONTENT_PAGE_ID"], 'left')
В настоящее время я получаю сообщение об ошибке:
You're trying to access a colu...
23 Фев 2023 в 18:06