Как сохранить в списке элементы первого списка, которые не содержатся во втором списке с дублирующимися значениями?

У меня есть проблема с эвристикой для Virtual Graph, где я должен подсчитать элементы чисел из двух целочисленных списков: Я должен поместить в список номера первого и числа, которых нет во втором списке .

Я попытался с двумя addAll и removeAll (secondList), и это работает, но когда списки имеют дубликаты , это не работает, потому что удаляет дублирующий элемент тоже:

        //Test lists
        List<Integer> ls1 = Arrays.asList(1,1,2,3);
        List<Integer> ls3 = Arrays.asList(1,3);
        List<Integer> s = new ArrayList<>();

        s.addAll(ls1);
        System.out.println("Add " + ls1);
        s.addAll(ls3);
        System.out.println("Add " + ls3);
        System.out.println("New list" + s);
        s.removeAll(ls3);
        System.out.println("Expected value (1,2)");
        System.out.println("Result List " + s);

Новый список [1, 1, 2, 3, 1, 3], ожидаемый результат - [1,2], но фактический результат - только 2.