У меня есть Pandas dataframe со многими столбцами, подмножество которых находится ниже:

df.info()

SQLDATE                  datetime64[ns]
SOURCEURL                object

df['SQLDATE', 'SOURCEURL'].sample()

SQLDATE    SOURCEURL
2017-01-08 http://www.huffingtonpost.co.uk/a/abc
2018-09-25 http://www.taiwannews.com.tw/a/news/123
2016-03-19 https://www.theguardian.com/a/2016/a/1/ab-bc
2015-12-12 https://nz.news.yahoo.com/world/a/3/a/
2017-04-07 https://www.thelocal.fr/2122/jkl
2019-02-21 http://today.az/news/a/123.html
2018-05-13 The BBC World News Report

Я ищу, чтобы создать столбец, который может извлечь имя домена, чтобы получить новый столбец, который выглядит следующим образом:

df.sample()

SQLDATE    SOURCEURL                               DOMAINNAME
2017-01-08 http://www.huffingtonpost.co.uk/a/abc   www.huffingtonpost.co.uk
2018-09-25 http://www.taiwannews.com.tw/a/news/123 www.taiwannews.com.tw
2016-03-19 https://www.theguardian.com/a...        www.theguardian.com
2015-12-12 https://nz.news.yahoo.com/world/a/3/a/  nz.news.yahoo.com
2017-04-07 https://www.thelocal.fr/2122/jkl        www.thelocal.fr
2019-02-21 http://today.az/news/a/123.html         today.az
2018-05-13 The BBC World News Report               The BBC World News Report

Кадр данных выглядит грязным, поскольку некоторые из полей SOURCEURL просто содержат текст, а не URL. Я хотел бы просто скопировать эти значения в столбец DOMAINNAME. Я не слишком знаком с регулярными выражениями, но это может быть случай, когда это применимо.

Спасибо за обзор!

1
Sepa 1 Июл 2019 в 23:24

3 ответа

Лучший ответ

Мы можем использовать положительный взгляд за ?<= и положительный взгляд ?= с регулярным выражением, чтобы получить все между http:// ИЛИ https:// и первым /:

m = df['SOURCEURL'].str.extract('(?<=http://)(.*?)(?=/)|(?<=https://)(.*?)(?=/)')
m = m[0].fillna(m[1]).fillna(df['SOURCEURL'])

df['DOMAINNAME'] = m
      SQLDATE                                     SOURCEURL                 DOMAINNAME
0  2017-01-08         http://www.huffingtonpost.co.uk/a/abc   www.huffingtonpost.co.uk
1  2018-09-25       http://www.taiwannews.com.tw/a/news/123      www.taiwannews.com.tw
2  2016-03-19  https://www.theguardian.com/a/2016/a/1/ab-bc        www.theguardian.com
3  2015-12-12        https://nz.news.yahoo.com/world/a/3/a/          nz.news.yahoo.com
4  2017-04-07              https://www.thelocal.fr/2122/jkl            www.thelocal.fr
5  2019-02-21               http://today.az/news/a/123.html                   today.az
6  2018-05-13                     The BBC World News Report  The BBC World News Report
1
Erfan 1 Июл 2019 в 21:06

Это выражение

https?:\/\/(?:www\.)?([^\/]+)

С этой простой левой границей

https?:\/\/(?:www\.)?

И эта группа захвата

([^\/]+)

Может вернуть наши нужные доменные имена.

демонстрация

2
Emma 1 Июл 2019 в 20:26

Используйте urlparse:

from urllib.parse import urlparse

cell = # get cell from pandas df
domain = urlparse(cell).netloc
3
mrzasa 1 Июл 2019 в 20:29