How can I find elements with variative class name in Python?

Question

I am parsing article's and megapost's metrics (likes, views, comments, dates) from the forum.

I am using Selenium and I'm trying to reach the datetime published.

dates = []

page_items = len(drv.find_elements_by_class_name("tm-articles-list"))
    for i in range(page_items):
        date_of_post = drv.find_elements_by_class_name("tm-article-snippet__datetime-published")
            for d in date_of_post:
               date_text = d.find_element_by_tag_name("time").text
               dates.append(date_text)

The problem is that there is a difference between the basic articles and megaposts in a HTTML class names. Datetime for articles class name is tm-article-snippet__datetime-published and for megaposts it's tm-megapost-snippet__datetime-published. I am wondering what is the possible way to parse the datetime regardless the type of class.

I tried to do it through the logical expression: date_of_post = drv.find_elements_by_class_name("tm-article-snippet__datetime-published" or "tm-megapost-snippet__datetime-published") but obviously it does not work.

Important remark: all megaposts on the forum are situated in the tm-articles-list class.

HTML for megaposts:

    





Блог компании DINS


9  ноября  2018



Жизнь С++


Программирование
Читальный зал
История IT
IT-компании
IT-эволюция - шутка парадоксальная. Например, сначала на компьютерах моделировали нагрузку на АТС, затем программно управляли вызовами, а теперь телефония - это облачное решение, которое разворачивается за несколько минут и объединяет все корпоративные коммуникации. 
    
    Кажется, между этими изменениями мало общего. На самом деле они стали возможными благодаря принципам программирования, заложенным полвека назад. И чтобы лучше увидеть эту связь, мы решили вспомнить историю С++ - одного из самых “взрослых” языков программирования. Он может быть и удобным инструментом разработки, и ночным кошмаром, и частью корпоративной истории. std::begin( )
    
Подробности — под катом
+58
43K
          189
        
          +189

HTML for regular articles








      640509-040147
    


25  декабря  2018 в 14:36


Предсказываем время решения тикета с помощью машинного обучения
Блог компании DINSPython*Data Mining*Машинное обучение*

Sorry for may be a very simple, silly, or even duplicated question (however, have not find anything related to the topic). I feel more confidently in R rather than in Python but when things are going that I need to parse something, I go for Python :)

cruisepandey · Accepted Answer

to parse the datetime regardless the type of class, you may consider to use xpath.

there is a xpath or operator.

//*[contains(@class, 'tm-article-snippet__datetime-published') or contains(@class, 'tm-megapost-snippet__datetime-published')]

here * means any node. But I believe they are part of span tag, right ?

if so, you can replace * with span.

try below :

date_of_post = drv.find_elements_by_xpath("//*[contains(@class, 'tm-article-snippet__datetime-published') or contains(@class, 'tm-megapost-snippet__datetime-published')]")

Update 1 :

date_time = []
lst = driver.find_elements(By.XPATH, "//*[contains(@class, 'tm-article-snippet__datetime-published') or contains(@class, 'tm-megapost-snippet__datetime-published')]")
try:
    for item in lst:
        try:
            if len(item.get_attribute('datetime')) > 0:
                print("meaning inner attribute date time is present")
                date_time.append(item.get_attribute('datetime'))
            else:
                print("Now we should look for child node")
                item.find_element(By.XPATH, ".//child::time").get_attribute('datetime')
                date_time.append(item.get_attribute('datetime'))
        except:
            print("First exception")
            break
except:
    print("Final exception")

How can I find elements with variative class name in Python?

Answers (1)

Related Questions