CODEWITHSUNDEEP
rrvest
pirikitao
pirikitao

Reputation: 65

Web-Scraping with rvest doesn't work

I'm trying to scrape comments from this website:

http://www.latercera.com/noticia/trabajos-realizan-donde-viven-los-extranjeros-tienen-residencia-chile/

And this is my code for this task.

url <- 'http://www.latercera.com/noticia/trabajos-realizan-donde-viven-los-extranjeros-tienen-residencia-chile/'

webpage <- read_html(url)

data_html <- html_nodes(webpage,"gig-comment-body")

Unfortunately it seems that rvest doesn't recognize the nodes through the CSS selector (gig-comment-body).

nodes comes out to be a null list, so it's not scraping anything.

Upvotes: 1

Views: 1107

Answers (2)

pirikitao
pirikitao

Reputation: 65

That is another solution with rselenium without docker

install.packages("RSelenium")

library (RSelenium)


driver<- rsDriver()
remDr <- driver[["client"]]

remDr$navigate("http://www.latercera.com/noticia/trabajos-realizan-donde-viven-los-extranjeros-tienen-residencia-chile/")

elem <- remDr$findElement( using = "id",value = "commentsDiv-779453")
#or
elem <- remDr$findElement( using = "class name", "gig-comments-comments")

elem$highlightElement() # just for interactive use in browser.

elemtxt <- elem$getElementAttribute("outerHTML") # gets us the HTML

Upvotes: 3

hrbrmstr
hrbrmstr

Reputation: 78832

@r2evans is correct. It builds the comment <div>s with javascript and it also requires a delay. I prefer Splash to Selenium (tho I made splashr so I'm not exactly impartial):

library(rvest)
library(splashr)

URL <- 'http://www.latercera.com/noticia/trabajos-realizan-donde-viven-los-extranjeros-tienen-residencia-chile/'

# Needs Docker => https://www.docker.com/
# Then needs splashr::install_splash()

start_splash()

splash_local %>% 
  splash_response_body(TRUE) %>% 
  splash_go(URL) %>% 
  splash_wait(10) %>% 
  splash_html() -> pg

html_nodes(pg, "div.gig-comment-body")
## {xml_nodeset (10)}
##  [1] <div class="gig-comment-body"><p><span>Algunosdesubicados comentan y se refieren a la UE<span>  </span>como si en alguna forma Chil ...
##  [2] <div class="gig-comment-body">Si buscan información se encontrarán que la unión Europea se está desmorona ndo por asunto de la inmi ...
##  [3] <div class="gig-comment-body">Pocos inmigrantes tiene Chile en función de su población. En España hay 4.5 mill de inmigrantes. 800. ...
##  [4] <div class="gig-comment-body">Chao chilenois idiotas tanto hablan y dicen que hacer cuando ni su pais les pertenece esta gobernado  ...
##  [5] <div class="gig-comment-body">\n<div> Victor Hugo Ramirez Lillo, de Conchalí, exiliado en Goiania, Brasil, pecha bono de exonerado, ...
##  [6] <div class="gig-comment-body">Les escribo desde mi 2do pais, USA.  Mi PDTE. TRUMP  se bajó del  TPP y Chile se va a la cresta. La o ...
##  [7] <div class="gig-comment-body">En CHILE siempre fuimos muy cuidadosos con le emigración, solo lo MEJOR de Alemania, Francia, Suecia, ...
##  [8] <div class="gig-comment-body"><span>Basta de inmigración!!! Santiago está lleno de vendedores ambulantes extranieros!!!¿¿esos son l ...
##  [9] <div class="gig-comment-body">IGNOREN A JON LESCANO, ESE ES UN CHOLO QUE FUE DEPORTADO DE CHILE.<div>IGNOREN A  LOS EXTRANJEROS MET ...
## [10] <div class="gig-comment-body">Me pregunto qué dirá el nacionalista promedio cuando agarre un libro de historia y se dé cuenta de qu ...

killall_splash()

Upvotes: 2

Related Questions