Мы можем получить предыдущие идентификаторы, используя seq_len(input$add), где input$add равно 1,2,3,... и т. д., а затем создать jQuery с использованием paste0 и sprintf

---
title: "Untitled"
runtime: shiny
output: 
  flexdashboard::flex_dashboard:
    orientation: columns
    vertical_layout: fill
---

```{r setup, include=FALSE}
library(flexdashboard)
library(rhandsontable)
```

Column {data-width=650}
-----------------------------------------------------------------------

```{r}



  ### Insert and Remove UI

actionButton("add", "Add UI")
actionButton("rmv", "Remove UI")
observeEvent(input$add, {
    insertUI(
      selector = "#add",
      where = "afterEnd",
      ui = textInput(paste0("txt", input$add),
                     sprintf("Insert some text for %i",input$add)),multiple = FALSE
    )
  })
observeEvent(input$rmv, {
    removeUI(
      #Remove the last UI
      #selector = sprintf("div:has(> #txt%i)",input$add),
      #Remove all previous UIs
      selector = sprintf("div:has(%s)",paste0('> #txt', seq_len(input$add), collapse = ",")),
      immediate = TRUE,
      multiple = TRUE
    )
  })
```

Обновить

Удаляйте последний пользовательский интерфейс каждый раз, когда пользователь нажимает Удалить пользовательский интерфейс.

### Insert and Remove UI

actionButton("add", "Add UI")
actionButton("rmv", "Remove UI")
data = reactiveValues(tmp=0)
observeEvent(input$add, {
    data$tmp <- c(data$tmp,input$add)

    insertUI(
      selector = "#add",
      where = "afterEnd",
      ui = textInput(paste0("txt", input$add),
                     sprintf("Insert some text for %i",input$add)),multiple = FALSE
    )
  })

observeEvent(input$rmv, {
    rm <- tail(data$tmp, 1)
    data$tmp <- setdiff(data$tmp, rm)

    removeUI(
      #Remove the last UI
      #selector = sprintf("div:has(> #txt%i)",input$add),
      #Remove all previous UIs
      selector = sprintf("div:has(%s)",paste0('> #txt', rm, collapse = ",")),
      immediate = TRUE,
      multiple = TRUE
    )
  })