Значения, разделенные запятыми или значения, разделенные символами (CSV) — это распространенный формат «базы данных плоских файлов» (или в стиле электронной таблицы) для хранения табличных данных в виде обычного текста с полями, разделенными специальным символом (запятая, табуляция и т. д.). Строки обычно обозначаются символами новой строки. Используйте для любых форматов файлов с разделителями, включая файлы с разделителями табуляции (TSV)
У меня есть некоторые данные ЭЭГ, но события происходят только каждые несколько сотен строк, и эти события не являются числами. Таким образом, мне нужно создать код, который создаст новый столбец, регистрирующий эти события как целое число (1:8). НО! В csv отмечается только точное начало события....
Я пытаюсь прочитать большой CSV-файл (84 ГБ) кусками с пандами, отфильтровать необходимые строки и преобразовать его в df
import pandas as pd
chunk_size = 1000000 # Number of rows to read per chunk
my_df = pd.DataFrame()
i = 1
def convert_data(value):
try:
return float(value)
excep...
28 Май 2023 в 10:03
У меня есть файл csv (ABC.CSV), в котором есть данные в формате ниже
COLUMN1 COLUMN2 COLUMN3 COLUMN4 COLUMN5
12345 ABC RR,MM K NAO,KUM DEV
34567 CDEF NN INT
89567 KGH PP, BHIM PRKC PROD
9876 PIM D...
27 Май 2023 в 20:27
В функциях Azure и с помощью python, как я могу читать CSV-файлы (и писать)?
вот мой код:
import datetime
import logging
import azure.functions as func
import csv
import traceback
def aprint(info):
logging.info("Azure Print: "+str(info))
def read_csv_file(file_path):
with open(file_p...
27 Май 2023 в 01:22
Я пытаюсь объединить 5 фреймов данных из CSV и создать новый фрейм данных, чем на втором этапе я создаю пустую таблицу с настраиваемой схемой, теперь я хочу загрузить записи из фрейма данных.
Вот пошаговые подробности.
создание фреймов данных из всех 5 фреймов данных
cr_df = spark.read.format("csv")...
26 Май 2023 в 15:22
У меня есть CSV-файл, который выглядит так
Header, Car, LapTime
1, Spa, 0
0, Ferrari, 2.1
0, Aston Martin, 2.3
1, Monza, 0
0, Ferrari, 2.5
0, Ford, 2.6
0, Aston Martin, 2.4
То есть CSV содержит несколько подтаблиц, расположенных друг под другом, где заголовок каждой подтаблицы имеет header = 1. Я ...
У меня есть файл csv, и я хочу отфильтровать его и создать из него новый файл. В файле csv есть столбец «путь». Я хочу отфильтровать данные, которые имеют «A/B/C» в столбце «путь». и запишите целую строку этих столбцов в новый CSV-файл. Может ли кто-нибудь предложить, как я могу этого достичь?
d...
У меня есть несколько файлов xlsx в каталоге. Но я хочу найти файл xlsx с именем файла 20230406115500.001.A0.XZI.INVOICING_ES101_Anlage_DISCO_Split_20230405_114751.xlsx.
Я хотел найти вышеуказанный файл с шаблоном, соответствующим чему-то вроде *ES101*.xlsx, а затем преобразовать этот файл xlsx в c...
26 Май 2023 в 11:42
Я создал приложение Tkinter для хранения данных в файле CSV. Код выглядит следующим образом:
def add_file():
global msg
msg = entry.get()
print(msg)
if msg != '':
listbox_tasks.insert(END, msg)
entry.delete(0, END)
else:
messagebox.showinfo('Info', 'Pleas...
У меня есть файл CSV размером 8 МБ. При использовании Spreadsheet::Read чтение занимает 10 секунд:
my $book = ReadData ( 'file.csv' );
my @rows = Spreadsheet::Read::rows($book->[1]); # first sheet
foreach my $i (2 .. scalar @rows) { # ignore first header row
my $first = $rows[$i-1][1];
#......
26 Май 2023 в 06:37
Я пишу конечную точку, которая принимает CSV-файл с помощью вспомогательной библиотеки CSV, выполняет некоторые проверки/преобразования, а затем сохраняет эти данные в базе данных с помощью массового копирования SQL (в CSV будет более миллиона записей). Для этой конечной точки я хотел бы вернуть сп...
import pandas as pd
data = pd.read_csv("/Users/leokarl/Desktop/Data Science/2020-05-20-2023-05-25.csv", on_bad_lines="skip")
Приведенный выше код работает, но когда я делаю data.head(), он перепутался, и поэтому я хочу использовать delimiter=";". Однако, когда я делаю
data = pd.read_csv("/Users/le...
import pandas as pd
import datetime as dt
# Read csv file
df=pd.read_csv("data.csv", engine="python", header=None)
# Add column header names
df.columns=["EmployeeID", "LastName", "FirstName", "DOB", "Email", "Salary", "DOH", "TermDate"]
# Determine which Dates of Hire are earlier than today's dat...
Ниже мой код
import pandas as pd
import os
def list_files(folder_path):
files = []
for file_name in os.listdir(folder_path):
file_path = os.path.join(folder_path, file_name)
if os.path.isfile(file_path):
files.append(file_name)
return files
file_path = input...
25 Май 2023 в 13:09
У меня есть текстовый файл, который отформатирован следующим образом:
thi is a junk data line to be ignored abc xyz dsfgsrj
AFKSDNG-RBI 20200706 MARS stu base-1
AFKSDNG-UBI 20200706 JUPITER uyt base-2
AFKSDNG-ABI 20200706 MARS stu base-1
AFKSDNG-XBI 2020070...
Я работаю над программой, в которой один CSV-файл я загружаю с веб-страницы с помощью pandas.
import pandas as pd
df = pd.read_csv("file-url")
Этот файл имеет 5 cloumns. Мне нужно проверить последние 2 столбца этого файла, если оба значения равны нулю, тогда эта строка будет удалена из файла. Я ...
Относительно новичок во всей игре powershell/scripting, но хотелось бы думать, что у меня достаточно знаний, чтобы обойтись. Однако этот меня расстраивает. Итак, в моем сценарии у меня есть файл CSV, который содержит новых пользователей. Теперь приведенный ниже сценарий отлично работает для выпол...
25 Май 2023 в 01:41
Мне нужно реализовать способ сохранения данных в txt, csv, bin и их выгрузку. Я выбираю файлы с помощью метода select_file, который проверяет, какой формат файла я выбрал, и вызывает соответствующую функцию.
data = {
"name": heater.name,
"kW": heater.kW,
"secti...
У меня странная проблема. Я пытаюсь загрузить файл csv с 59153 строками в таблицу mysql с помощью этой команды:
LOAD DATA LOCAL INFILE '/x.csv'
INTO TABLE Addresses
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
Это работает, но ровно поло...
У меня есть текстовый файл details.txt, подобный этому
Название класса школы
1 сек.
Б 2 при
C 3 часа
Я хочу, чтобы значения были разделены пробелом в виде разных столбцов. поэтому столбец 1 должен быть именем
А
Б
C
Столбец 2 должен быть классом
1
2
3
К концу я хочу, чтобы файл был файлом .csv.
Я ис...
Я хотел бы знать, как сделать расписание Matlab из этих данных:
date time open high low close tickvol
0 2011.01.02 17:01 1.3342 1.3344 1.3341 1.3341 0
1 2011.01.02 17:02 1.3343 1.3343 1.3343 1.3343 0
2 2011.01.02 17...
У меня есть вложенный словарь, один словарь также включает в себя словарь.
Как я могу написать их в красивом формате и преобразовать в таблицу CSV. (с forloop и foreach через ключи)
$testHashMap = @{
'feature1' = @{
'Audit' = 1
'Space' = 2
'Usage' = 3
}
'featur...
24 Май 2023 в 15:00
У меня есть большой файл csv. Внутри файла csv есть несколько заголовков, как показано ниже.
"Level and Distortion",,,,,,,,,,,,,,,
"Ch1 (F)",,"Ch1 (H2)",,"Ch1 (H3)",,"Ch1 (Total)",,"Ch2 (F)",,"Ch2 (H2)",,"Ch2 (H3)",,"Ch2 (Total)",
X,Y,X,Y,X,Y,X,Y,X,Y,X,Y,X,Y,X,Y
Hz,Vrms,Hz,Vrms,Hz,Vrms,Hz,Vrms,Hz,V...
24 Май 2023 в 10:20
Я создаю файл CSV с именем myFile.csv, который содержит некоторые фиксированные заголовки. Я получаю результат из базы данных с помощью SQL-запроса, поэтому у него нет фиксированного количества ключей и значений. Я хочу добавить значения из результата словаря под определенными заголовками.
В резул...
24 Май 2023 в 00:26
Как преобразовать файл пера в файл csv с помощью python?
Я попытался использовать модуль пера, pyarrow.feather. Я мог только прочитать его, но не смог преобразовать в формат csv.
# when using pandas
import pandas as pd
df = pd.read_feather('coffee_ratings_full.feather')
Я получил эту ошибку =>
Arro...