indexeddb получить данные от индекса n до индекса k

Вы можете использовать cursor.advance, чтобы пропустить записи. Для курсоров нет ограничений, вы просто прекращаете итерацию, подсчитывая, сколько раз вы выполняли итерацию.

Что-то вроде этого:

function query(db, criteria, offset, limit) {
  return new Promise((resolve, reject) => {
    const results = [];
    const transaction = db.transaction('store');
    transaction.oncomplete = event => resolve(results);
    transaction.onerror = event => reject(event.target);
    const store = transaction.objectStore('store');
    const index = store.index('index');
    const request = index.openCursor(criteria);

    let advanced = offset === 0;
    let counter = 0;
    
    request.onsuccess = event => {
      const cursor = event.target.result;
      if (!cursor) {
        return;
      }

      if (!advanced) {
        advanced = true;
        cursor.advance(offset);
      }

      counter++;
      results.push(cursor.value);

      if (counter >= limit) {
        return;
      }
      cursor.continue();
    };
  });
}