Могу ли я изменить Java Swing JTextArea, чтобы он выглядел как JPasswordField?

ИМХО, лучший способ решить проблему - посмотреть, как JPasswordField переопределяет JTextField, и создать собственный вывод JTextArea.

Ну, помимо использования JPasswordField (который является просто подклассом JTextField), вы можете заменить каждый символ на * при каждом нажатии клавиши и сохранить фактический текст в строке или массиве символов.