Когда я запускаю свой сценарий свиньи, у меня много
Encountered Warning IMPLICIT_CAST_TO_LONG ... time(s).
Encountered Warning IMPLICIT_CAST_TO_FLOAT ... time(s).
Encountered Warning IMPLICIT_CAST_TO_DOUBLE ... time(s).
Мне было интересно, при каких обстоятельствах PigServer будет выдавать эти предупреждения и будут ли эти неявные преобразования замедлять процесс?
Благодарность!
1 ответ
Вы получите предупреждения, когда Pig должен неявно преобразовать один тип в другой, например, когда вы передаете поле в качестве аргумента функции, которая требует некоторого типа, но это поле другого типа.
Неявные приведения AFAIK не замедляют процесс больше, чем явные приведения (т.е. (длинное) поле1) - вы получаете предупреждения, потому что вы должны знать, что вы выполняете неявное приведение - вы не можете приводить любой тип к любому другому типу и приводите всегда стоит денег, поэтому вам следует по возможности стараться исключить приведение типов данных.
Похожие вопросы
Новые вопросы
apache-pig
Apache Pig - это платформа для анализа больших наборов данных, которая состоит из языка высокого уровня для выражения программ анализа данных в сочетании с инфраструктурой для оценки этих программ. Существенным свойством программ Pig является то, что их структура поддается существенному распараллеливанию, что позволяет им обрабатывать очень большие наборы данных.