CODEWITHSUNDEEP
pythonhtmlweb-scraping
Christian
Christian

Reputation: 7

How to extract each href for job postings on indeed for web scraping?

I am having trouble getting each href from the job posting links on indeed for web scraping. I have working code, but it pulls duplicates of each link. How can I get it to correctly update the "url =" with the href each time it loops?

I am new to coding, so this may not be the cleanest approach, but it worked for me on another website. I have just not been able to figure out to correct HTML for Indeed to make it work here.

r = requests.get("https://www.indeed.com/jobs?q=utc+aerospace+systems&start")
soup = BeautifulSoup(r.content, "html.parser")
tbl = soup.find(id="resultsCol")
for link in tbl.find_all('a'):
    if link.has_attr('href') and "clk" in link.attrs['href'] and "salaries" not in link.attrs['href']:
        url = link.attrs['href']

Result:

/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98

Upvotes: 0

Views: 1476

Answers (2)

SIM
SIM

Reputation: 22440

Try this. It will hopefully serve your purpose:

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "https://www.indeed.com/jobs?q=utc+aerospace+systems&start"
res = requests.get(url)
soup = BeautifulSoup(res.content, "lxml")
for link in soup.select("[itemprop=title]"):
    absolute_link = urljoin(url,link.get("href"))
    print(absolute_link)

Result:

https://www.indeed.com/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=d7ecb6481d2440ab&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=b1acd1e6ff5bd6f2&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=82cbb505ce5234b4&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=dc83d0b285578642&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=6fd28995042b398c&fccid=d1eb5e07f9ef9f98

Upvotes: 2

Rafael Araujo
Rafael Araujo

Reputation: 104

I also tried your code and it works pretty well, considere that may the problem be on your IDE or other component. As a suggestion, I changed a little your code to simplify and avoid possibles duplicates.

r = requests.get("https://www.indeed.com/jobs?
q=utc+aerospace+systems&start")
soup = BeautifulSoup(r.content, "html.parser")
tbl = soup.find(id="resultsCol")
for link in tbl.find_all('a', attrs = {'class' : 'turnstileLink'}):
    url = link.attrs['href']
    print(url)

But, ATTENTION!!! The class attribute is setted by the developer of the website, so, if he forget it or write it wrong, you will lose one link (It already happened with me).

Upvotes: 1

Related Questions