Próbuję wyodrębnić tekst ze strony i zapisać go jako dataframe. Strona nie jest sformatowana jako tag, a zatem pandy nie może go przeczytać bezpośrednio. Próbowałem użyć BS4, ale nie jest w stanie wyodrębnić dokładnego adresu URL.

from bs4 import BeautifulSoup

html = requests.get('https://s3.amazonaws.com/todel162/veryimp/claps-0001.html')
soup = BeautifulSoup(html.text, "lxml") 


links = soup.find_all('li')

import pandas as pd
df = pd.DataFrame(links)

Spodziewam się dataframe 4 kolumn, coś takiego ...

vote title date url
1 How a TV Sitcom Triggered the Downfall of Western Civilization 2016-03-23 12:23 https://medium.com/p/how-a-tv-sitcom-triggered-the-downfall-of-western-civilization-336e8ccf7dd0
0
shantanuo 24 luty 2019, 15:55

2 odpowiedzi

Najlepsza odpowiedź

Musisz analizować HTML. find_all('li') Wystarczy znaleźć wszystkie w HTML, musisz bardziej konkretny.

To jest cały kod:

html = requests.get('https://s3.amazonaws.com/todel162/veryimp/claps-0001.html')
soup = BeautifulSoup(html.text, "html.parser")
import pandas as pd

links = soup.find_all('li')

all = []
for elements in links:
    find_a = elements.find('a')
    vote = find_a.previous_sibling
    vote =int(re.search(r'\d+', vote).group()) #remove the + and - Just get int
    title = find_a.text
    date = elements.find('time',attrs={'class' : 'dt-published'}).text
    url = find_a['href']
    all.append([vote,title,date,url])

dataf = pd.DataFrame(all,columns=['vote', 'title', 'date','url'])

print(dataf)
1
Omer Tekbiyik 24 luty 2019, 14:14

soup.find_all('li') Właśnie zwraca wszystkie znaczniki li z strony. To, co musisz zrobić, jest uzyskanie odpowiednich informacji z każdego znacznika li, takich jak głosy, tytuł, daty i URL, a następnie zaoszczędzić to w być może lista list. Następnie możesz przekształcić to w dataframe. Możesz uzyskać adres URL za pomocą pięknejSoup za pomocą atrybutu 'href' 'a'.

from bs4 import BeautifulSoup
import requests
import pandas as pd
html = requests.get('https://s3.amazonaws.com/todel162/veryimp/claps-0001.html')
soup = BeautifulSoup(html.text, "lxml")
links = soup.find_all('li')
final_list=[]
for li in links:
    votes=li.contents[0].split(' ')[0]
    title=li.find('a').text
    date=li.find('time').text
    url=li.find('a')['href']
    final_list.append([votes,title,date,url])
df = pd.DataFrame(final_list,columns=['Votes', 'title', 'Date','Url'])
print(df)
#just df if in Jupyter notebook

Wyjście próbki z notebooka Jupsytera

enter image description here

4
Bitto Bennichan 24 luty 2019, 14:59