Получение номера недели месяца с использованием формата отметки времени '2016-11-22 14:35:51' с использованием SPARK SQL

Вы используете неправильный литерал, вам нужно использовать W вместо u.

Буква u обозначает номер дня недели .

scala> sqlContext.sql("select current_timestamp() as time, date_format(current_timestamp,'W') as week").show
// +--------------------+----+
// |                time|week|
// +--------------------+----+
// |2017-01-09 13:46:...|   2|
// +--------------------+----+

scala> sqlContext.sql("select to_date('2017-01-01') as time, date_format(to_date('2017-01-01'),'W') as week").show
// +----------+----+
// |      time|week|
// +----------+----+
// |2017-01-01|   1|
// +----------+----+

Если у вас есть дополнительные сомнения, вы всегда можете обратиться к официальная документация SimpleDateFormat на Java.