Удалить все записи, кроме самой последней?

Вы можете использовать row_number() (или rank() или dense_rank(), или даже просто псевдоколонку rownum), чтобы применить порядок к записям, а затем использовать этот порядок, чтобы решить, какой отказаться. В этом случае сортировка по applicationdatetime desc дает приложению с самой последней датой для каждого студента рейтинг 1:

select studentid, applicationid from (
    select studentid, applicationid,
        row_number() over (partition by studentid
            order by applicationdatetime desc) as rn
    from application
)
where rn = 1;

 STUDENTID APPLICATIONID
---------- -------------
         1         20002
         2         20005

Затем вы можете удалить все, что имеет рейтинг выше 1, что сохранит нужные вам записи:

delete from application
where (studentid, applicationid) in (
    select studentid, applicationid from (
        select studentid, applicationid,
            row_number() over (partition by studentid
                order by applicationdatetime desc) as rn
        from application
    )
    where rn > 1
);

3 rows deleted.

Сначала вы можете это сделать

DELETE FROM [student]
           or [application]
WHERE (studentid, applicationid) NOT IN (SELECT StudentID
                                               ,MAX(ApplicationID)
                                         FROM student
                                             ,application
group by StudentID);

Но есть другое решение, вы можете создать резервную копию таблицы после удаления всех записей в ваших таблицах и после вставки ваших данных (что вы хотите) с максимальными значениями, выбранными в ваших таблицах.