Getting list of URL's and the Data from the Page as well as Pagination by BeautifulSoup

Question

I am new to use Beautifulsoup. Actually, I want to get all the links from the page but only which came as result. Here is the example link: Daad1

Moreover, there are pages and i want to do get all the links also from all the other pages.

So far i am doing this to get the URL's but its also genearting output with extra text:

   import requests
    from bs4 import BeautifulSoup


    getpage= requests.get(url)

    getpage_soup= BeautifulSoup(getpage.text, 'html.parser')
    url =https://www2.daad.de/deutschland/studienangebote/international-programmes/en/result/?q=&degree%5B%5D=1&fos=&cert=&admReq=&scholarshipLC=&scholarshipSC=&langDeAvailable=&langEnAvailable=&lang%5B%5D=2&cit%5B%5D=&tyi%5B%5D=&ins%5B%5D=&fee=&bgn%5B%5D=&dur%5B%5D=&sort=4&subjects%5B%5D=&limit=10&offset=&display=list&lvlEn%5B%5D=

    all_links= getpage_soup.findAll('a')

    for link in all_links:
        link = link.get('href')
        print (link)

Desired Output:

I would like a list of all the URLS ONLY from the search result as well as list of URLs from all the pages in pagination. The help will be appreicated :) I tried to find solution but didnt able to find.

Answer 1

If you go to Network Tab under XHR you will get the following link which returns data in json format.

url="https://www2.daad.de/deutschland/studienangebote/international-programmes/api/solr/en/search.json?cert=&admReq=&scholarshipLC=&scholarshipSC=&degree%5B%5D=1&fos=&langDeAvailable=&langEnAvailable=&lang%5B%5D=2&fee=&sort=4&q=&limit=10&offset={}&display=list&isSep="

Code:

import requests
url="https://www2.daad.de/deutschland/studienangebote/international-programmes/api/solr/en/search.json?cert=&admReq=&scholarshipLC=&scholarshipSC=&degree%5B%5D=1&fos=&langDeAvailable=&langEnAvailable=&lang%5B%5D=2&fee=&sort=4&q=&limit=10&offset={}&display=list&isSep="
listofanchor=[]
pagenum=0
while pagenum<130:
     finalUrl=url.format(pagenum)
     print(finalUrl)
     res=requests.get(finalUrl).json()

     for item in res['courses']:
         listofanchor.append(item['link'])

     pagenum=pagenum+10


print(listofanchor)

Output:

['/deutschland/studienangebote/international-programmes/en/detail/6217/', '/deutschland/studienangebote/international-programmes/en/detail/5443/', '/deutschland/studienangebote/international-programmes/en/detail/4229/', '/deutschland/studienangebote/international-programmes/en/detail/3779/', '/deutschland/studienangebote/international-programmes/en/detail/4725/', '/deutschland/studienangebote/international-programmes/en/detail/6219/', '/deutschland/studienangebote/international-programmes/en/detail/4335/', '/deutschland/studienangebote/international-programmes/en/detail/6120/', '/deutschland/studienangebote/international-programmes/en/detail/5660/', '/deutschland/studienangebote/international-programmes/en/detail/4538/', '/deutschland/studienangebote/international-programmes/en/detail/5460/', '/deutschland/studienangebote/international-programmes/en/detail/5461/', '/deutschland/studienangebote/international-programmes/en/detail/3887/', '/deutschland/studienangebote/international-programmes/en/detail/4557/', '/deutschland/studienangebote/international-programmes/en/detail/4537/', '/deutschland/studienangebote/international-programmes/en/detail/4535/', '/deutschland/studienangebote/international-programmes/en/detail/4546/', '/deutschland/studienangebote/international-programmes/en/detail/4539/', '/deutschland/studienangebote/international-programmes/en/detail/6403/', '/deutschland/studienangebote/international-programmes/en/detail/4540/', '/deutschland/studienangebote/international-programmes/en/detail/4080/', '/deutschland/studienangebote/international-programmes/en/detail/3603/', '/deutschland/studienangebote/international-programmes/en/detail/4099/', '/deutschland/studienangebote/international-programmes/en/detail/5704/', '/deutschland/studienangebote/international-programmes/en/detail/4718/', '/deutschland/studienangebote/international-programmes/en/detail/3906/', '/deutschland/studienangebote/international-programmes/en/detail/4509/', '/deutschland/studienangebote/international-programmes/en/detail/5617/', '/deutschland/studienangebote/international-programmes/en/detail/4128/', '/deutschland/studienangebote/international-programmes/en/detail/3593/', '/deutschland/studienangebote/international-programmes/en/detail/4631/', '/deutschland/studienangebote/international-programmes/en/detail/3675/', '/deutschland/studienangebote/international-programmes/en/detail/4048/', '/deutschland/studienangebote/international-programmes/en/detail/4612/', '/deutschland/studienangebote/international-programmes/en/detail/3592/', '/deutschland/studienangebote/international-programmes/en/detail/3659/', '/deutschland/studienangebote/international-programmes/en/detail/4380/', '/deutschland/studienangebote/international-programmes/en/detail/3660/', '/deutschland/studienangebote/international-programmes/en/detail/3663/', '/deutschland/studienangebote/international-programmes/en/detail/3616/', '/deutschland/studienangebote/international-programmes/en/detail/3664/', '/deutschland/studienangebote/international-programmes/en/detail/3898/', '/deutschland/studienangebote/international-programmes/en/detail/5259/', '/deutschland/studienangebote/international-programmes/en/detail/3661/', '/deutschland/studienangebote/international-programmes/en/detail/3662/', '/deutschland/studienangebote/international-programmes/en/detail/4303/', '/deutschland/studienangebote/international-programmes/en/detail/4497/', '/deutschland/studienangebote/international-programmes/en/detail/4392/', '/deutschland/studienangebote/international-programmes/en/detail/4472/', '/deutschland/studienangebote/international-programmes/en/detail/4471/', '/deutschland/studienangebote/international-programmes/en/detail/4772/', '/deutschland/studienangebote/international-programmes/en/detail/6155/', '/deutschland/studienangebote/international-programmes/en/detail/4320/', '/deutschland/studienangebote/international-programmes/en/detail/4218/', '/deutschland/studienangebote/international-programmes/en/detail/4630/', '/deutschland/studienangebote/international-programmes/en/detail/4022/', '/deutschland/studienangebote/international-programmes/en/detail/3918/', '/deutschland/studienangebote/international-programmes/en/detail/3895/', '/deutschland/studienangebote/international-programmes/en/detail/3744/', '/deutschland/studienangebote/international-programmes/en/detail/4833/', '/deutschland/studienangebote/international-programmes/en/detail/6424/', '/deutschland/studienangebote/international-programmes/en/detail/6355/', '/deutschland/studienangebote/international-programmes/en/detail/4319/', '/deutschland/studienangebote/international-programmes/en/detail/4669/', '/deutschland/studienangebote/international-programmes/en/detail/6218/', '/deutschland/studienangebote/international-programmes/en/detail/6366/', '/deutschland/studienangebote/international-programmes/en/detail/4561/', '/deutschland/studienangebote/international-programmes/en/detail/6336/', '/deutschland/studienangebote/international-programmes/en/detail/4227/', '/deutschland/studienangebote/international-programmes/en/detail/3618/', '/deutschland/studienangebote/international-programmes/en/detail/3617/', '/deutschland/studienangebote/international-programmes/en/detail/4876/', '/deutschland/studienangebote/international-programmes/en/detail/5650/', '/deutschland/studienangebote/international-programmes/en/detail/4223/', '/deutschland/studienangebote/international-programmes/en/detail/4026/', '/deutschland/studienangebote/international-programmes/en/detail/6195/', '/deutschland/studienangebote/international-programmes/en/detail/4375/', '/deutschland/studienangebote/international-programmes/en/detail/4849/', '/deutschland/studienangebote/international-programmes/en/detail/5430/', '/deutschland/studienangebote/international-programmes/en/detail/4822/', '/deutschland/studienangebote/international-programmes/en/detail/4668/', '/deutschland/studienangebote/international-programmes/en/detail/4228/', '/deutschland/studienangebote/international-programmes/en/detail/4221/', '/deutschland/studienangebote/international-programmes/en/detail/4501/', '/deutschland/studienangebote/international-programmes/en/detail/4755/', '/deutschland/studienangebote/international-programmes/en/detail/5651/', '/deutschland/studienangebote/international-programmes/en/detail/4331/', '/deutschland/studienangebote/international-programmes/en/detail/4369/', '/deutschland/studienangebote/international-programmes/en/detail/6358/', '/deutschland/studienangebote/international-programmes/en/detail/3871/', '/deutschland/studienangebote/international-programmes/en/detail/5225/', '/deutschland/studienangebote/international-programmes/en/detail/4610/', '/deutschland/studienangebote/international-programmes/en/detail/3838/', '/deutschland/studienangebote/international-programmes/en/detail/4211/', '/deutschland/studienangebote/international-programmes/en/detail/3811/', '/deutschland/studienangebote/international-programmes/en/detail/4210/', '/deutschland/studienangebote/international-programmes/en/detail/6487/', '/deutschland/studienangebote/international-programmes/en/detail/3831/', '/deutschland/studienangebote/international-programmes/en/detail/5692/', '/deutschland/studienangebote/international-programmes/en/detail/5693/', '/deutschland/studienangebote/international-programmes/en/detail/5694/', '/deutschland/studienangebote/international-programmes/en/detail/5695/', '/deutschland/studienangebote/international-programmes/en/detail/5696/', '/deutschland/studienangebote/international-programmes/en/detail/5697/', '/deutschland/studienangebote/international-programmes/en/detail/5463/', '/deutschland/studienangebote/international-programmes/en/detail/4414/', '/deutschland/studienangebote/international-programmes/en/detail/3619/', '/deutschland/studienangebote/international-programmes/en/detail/3832/', '/deutschland/studienangebote/international-programmes/en/detail/6453/', '/deutschland/studienangebote/international-programmes/en/detail/3917/', '/deutschland/studienangebote/international-programmes/en/detail/4629/', '/deutschland/studienangebote/international-programmes/en/detail/4216/', '/deutschland/studienangebote/international-programmes/en/detail/4217/', '/deutschland/studienangebote/international-programmes/en/detail/4409/', '/deutschland/studienangebote/international-programmes/en/detail/4368/', '/deutschland/studienangebote/international-programmes/en/detail/6315/', '/deutschland/studienangebote/international-programmes/en/detail/4219/', '/deutschland/studienangebote/international-programmes/en/detail/4220/', '/deutschland/studienangebote/international-programmes/en/detail/4222/', '/deutschland/studienangebote/international-programmes/en/detail/6216/', '/deutschland/studienangebote/international-programmes/en/detail/5645/', '/deutschland/studienangebote/international-programmes/en/detail/6220/', '/deutschland/studienangebote/international-programmes/en/detail/6156/', '/deutschland/studienangebote/international-programmes/en/detail/4321/', '/deutschland/studienangebote/international-programmes/en/detail/6308/', '/deutschland/studienangebote/international-programmes/en/detail/6425/', '/deutschland/studienangebote/international-programmes/en/detail/4212/', '/deutschland/studienangebote/international-programmes/en/detail/4705/', '/deutschland/studienangebote/international-programmes/en/detail/4309/']

---

snapshot Network-Tab