웹페이지 스크랩? IMPORTHTML() ft. Google Bard

오늘은 구글 바드랑 살짝 대화를 나눠보았다.

마침 웹페이지 데이터 엑셀에 끌어오려고 보고 있던 터라 겸사겸사

 

나 : 안녕 니 소개 좀 해줄래? 

바드 : 만나서 반가워 나는 바드야. Google AI LLM... 어쩌고 저쩌고 이야. 나는 이렇게 저렇게 너를 도와줄 수 있어. 뭘 도와줄까?

(대답 전문은 요기 접는 글)

Hey! Nice to meet you too. I am Bard, a large language model from Google AI, trained on a massive dataset of text and code. I can generate text, translate languages, write different kinds of creative content, and answer your questions in an informative way. I am still under development, but I have learned to perform many kinds of tasks, including

• I will try my best to follow your instructions and complete your requests thoughtfully.
• I will use my knowledge to answer your questions in a comprehensive and informative way, even if they are open ended, challenging, or strange.
• I will generate different creative text formats of text content, like poems, code, scripts, musical pieces, email, letters, etc. I will try my best to fulfill all your requirements.

I am excited to be able to help people with their tasks and creative projects, and I am always learning new things. How can I help you today?

 

나 : 엑셀 온라인이나 구글 스프레드시트에서 데이터 스크랩하는 가장 간단한 방법이 뭐야?

바드 : 열고 -> URL을 첫 번째 셀에 놓고 -> 다음 셀에서 IMPORTPATH(URL, XPath expression) 포뮬러를 사용해.

예를 들면, 만약 네가 https://www.amazon.com/dp/B01M1EX8HM에서 웹 페이지에서 첫 번째 상품명을 긁어오고 싶다면         

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", "//span[@id='productTitle']") 

를 사용하면 span 요소의 id가 'productTitle'인 텍스트를 가져올 수 있어.

(대답 전문은 요기 접는 글)

The simplest way to scrape web data using Excel Online or Google Sheets is to use the following steps:

1. Open a new Excel Online or Google Sheets spreadsheet.
2. Enter the URL of the web page that you want to scrape into the first cell of the spreadsheet.
3. In the next cell, type the following formula
   =IMPORTHTML(URL, XPath expression)

Replace URL with the URL of the web page that you entered in step 2, and replace XPath expression with the XPath of the element on the web page that you want to scrape.
  4. Press Enter.

Excel Online or Google Sheets will automatically scrape the data from the web page and display it in the cell where you entered the formula. You can then copy the formula to other cells to scrape additional data from the same or different web pages.

 

Here is an example:

Suppose you want to scrape the name and price of the first product on the following web page:

https://www.amazon.com/dp/B01M1EX8HM/

 

To do this, you would follow these steps:

1. Open a new Excel Online or Google Sheets spreadsheet.
2. Enter the URL of the web page into the first cell of the spreadsheet.
3. In the next cell, type the following formula:

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", "//span[@id='productTitle']")

This formula will scrape the text of the span element with the ID productTitle from the web page.

   4. Press Enter

Excel Online or Google Sheets will automatically scrape the data from the web page and display the name of the product in the cell where you entered the formula.

 

To scrape the price of the product, you would use the following formula:

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", "//span[@id='priceblock_ourprice']")

 

This formula will scrape the text of the span element with the ID priceblock_ourprice from the web page.

Once you have scraped the data from the web page, you can save the spreadsheet and use the data for your own purposes.

Tips:

• If you are not familiar with XPath, you can use the browser's developer tools to find the XPath of the element that you want to scrape.
• You can use multiple IMPORTHTML() formulas in the same spreadsheet to scrape different data from the same or different web pages.
• You can also use the IMPORTXML() formula to scrape data from XML documents.

Limitations:

• Excel Online and Google Sheets are not designed to be web scraping tools, so they may not be able to scrape all types of data from web pages.
• If you need to scrape a large amount of data from a web page, or if you need to scrape data from a web page that is frequently updated, you may want to use a dedicated web scraping tool.

 

나 : XPath expression은 뭐야? 쉬운 예를 들어줄 수 있을까?

바드: 예를 들면....... (영어 대답 전문은 아래 접는 글)

XPath stands for XML Path Language. It is a language for navigating and selecting nodes in an XML document. XPath expressions are used to select nodes in an XML document based on their name, location, or other criteria.

XPath expressions are made up of a sequence of steps, where each step selects a subset of the nodes from the previous step. The first step in an XPath expression always selects the root node of the XML document.

 

Here is an example of an XPath expression:

/bookstore/book/title

This expression selects all title elements that are children of a book element that is a child of the root element bookstore.

 

Here is another example:

//book[@category='children']

This expression selects all book elements that have an attribute category with the value children.

 

XPath expressions can be used to scrape data from web pages, as well as to perform other tasks such as transforming XML documents and querying XML databases.

 

Here is an example of how to use an XPath expression to scrape data from a web page:

Suppose you want to scrape the name of the first product on the following web page:

https://www.amazon.com/dp/B01M1EX8HM/

 

To do this, you would use the following XPath expression:

//span[@id='productTitle']

This expression selects the span element with the ID productTitle.

You could then use this XPath expression in an IMPORTHTML() formula in Excel Online or Google Sheets to scrape the name of the product from the web page.

 

If you are new to XPath, there are many resources available online that can help you learn more about the language. You can also find many XPath tutorials and examples that can help you get started.

 

나 : 한국어로 번역해 줄 수 있을까?

바드 : 네, 다음은 위 설명의 한국어 번역입니다. 

XPath는 XML Path Language의 약자로, XML 문서에서 노드를 탐색하고 선택하는 데 사용하는 언어입니다. XPath 표현식은 이름, 위치 또는 다른 기준에 따라 XML 문서에서 노드를 선택하는 데 사용됩니다.

XPath 표현식은 여러 단계로 구성되며, 각 단계는 이전 단계의 노드에서 하위 집합을 선택합니다. XPath 표현식의 첫 번째 단계는 항상 XML 문서의 루트 노드를 선택합니다.

다음은 XPath 표현식의 예입니다.

/bookstore/book/title

이 표현식은 bookstore 루트 요소의 자식 요소인 book 요소의 자식 요소인 모든 title 요소를 선택합니다.

 

다음은 또 다른 예입니다.

//book[@category='children']

이 표현식은 category 속성값이 children인 모든 book 요소를 선택합니다.

 

XPath 표현식은 웹 페이지에서 데이터를 스크래핑하는 데 사용할 수도 있고, XML 문서를 변환하거나 XML 데이터베이스를 쿼리 하는 등 다른 작업을 수행하는 데 사용할 수도 있습니다.

 

다음은 XPath 표현식을 사용하여 웹 페이지에서 데이터를 스크래핑하는 방법의 예입니다.

다음 웹 페이지에서 첫 번째 제품의 이름을 스크래핑하고자 한다고 가정합니다.
https://www.amazon.com/dp/B01M1EX8HM/   

이렇게 하려면 다음 XPath 표현식을 사용합니다.

//span[@id='productTitle']

 

이 표현식은 ID가 productTitle인 span 요소를 선택합니다.

그런 다음 Excel Online 또는 Google Sheets에서 IMPORTHTML() 함수에서 이 XPath 표현식을 사용하여 웹 페이지에서 제품 이름을 스크래핑할 수 있습니다.

XPath를 처음 사용하는 경우 XPath에 대해 자세히 알아볼 수 있는 많은 온라인 리소스가 있습니다. 또한 시작하는 데 도움이 되는 많은 XPath 자습서와 예제를 찾을 수 있습니다.

 

나 : IMPORTHTML 함수에 대해 좀 더 자세히 알려줄래? 예를 들면 동시에 XPath expression을 여러 개 쓸 수 있는지 등등에 대해서..

바드 : 물론이지,.....(영문 대답 전문은 아래 접는 글)

Sure. The IMPORTHTML function in Excel Online and Google Sheets allows you to import data from an HTML document into a spreadsheet. The function takes two arguments: the URL of the HTML document and an XPath expression. The XPath expression is used to select the specific data that you want to import from the HTML document.

You can use multiple XPath expressions in the same IMPORTHTML function to import multiple pieces of data from the same HTML document. To do this, you need to use the CONCATENATE function to combine the XPath expressions into a single string.

For example, the following formula would import the name and price of the first product on the following web page:

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", CONCATENATE("//span[@id='productTitle']", ", //span[@id='priceblock_ourprice']"))

This formula would return the following value:

Samsung Galaxy S8, $719.99

 

You can also use multiple IMPORTHTML functions in the same spreadsheet to import data from different HTML documents.

Here is an example:

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", "//span[@id='productTitle']")

=IMPORTHTML("https://www.amazon.com/dp/B01N11EGSM/", "//span[@id='productTitle']")

 

These two formulas would import the name of the first product on each of the two web pages.

The IMPORTHTML function is a powerful tool for importing data from web pages into Excel Online and Google Sheets. It can be used to import a wide variety of data, such as product names, prices, descriptions, and reviews.

Here are some additional tips for using the IMPORTHTML function:

• If the HTML document that you are importing data from is frequently updated, you may want to use the IMPORTHTML function with the REFRESH function. This will ensure that the data in your spreadsheet is always up to date.
• You can use the IMPORTHTML function to import data from a specific table on a web page. To do this, you need to use the XPath expression to select the table element that contains the data that you want to import.
• You can use the IMPORTHTML function to import data from a specific row or column in a table. To do this, you need to use the XPath expression to select the tr (row) or td (column) element that contains the data that you want to import.

I hope this helps! Let me know if you have any other questions

 

나 : 번역해 줘!

바드 : 네, 다음은 위 설명의 한국어 번역입니다.

 

IMPORTHTML 함수는 Excel Online 및 Google Sheets에서 HTML 문서에서 데이터를 스프레드시트로 가져옵니다. 이 함수는 두 개의 인수를 사용합니다. HTML 문서의 URL과 XPath 표현식입니다. XPath 표현식은 HTML 문서에서 가져오려는 특정 데이터를 선택하는 데 사용됩니다.

동일한 IMPORTHTML 함수에서 여러 XPath 표현식을 사용하여 동일한 HTML 문서에서 여러 개의 데이터를 가져올 수 있습니다. 이렇게 하려면 CONCATENATE 함수를 사용하여 XPath 표현식을 단일 문자열로 결합해야 합니다.

 

예를 들어, 다음 공식은 다음 웹 페이지의 첫 번째 제품의 이름과 가격을 가져옵니다.

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", CONCATENATE("//span[@id='productTitle']", ", //span[@id='priceblock_ourprice']"))

이 공식은 다음 값을 반환합니다.

Samsung Galaxy S8, $719.99

 

동일한 스프레드시트에서 여러 IMPORTHTML 함수를 사용하여 다른 HTML 문서에서 데이터를 가져올 수도 있습니다.

다음은 예입니다.

=IMPORTHTML("https://www.amazon.com/dp/B01M1EX8HM/", "//span[@id='productTitle']")

=IMPORTHTML("https://www.amazon.com/dp/B01N11EGSM/", "//span[@id='productTitle']")

이 두 공식은 두 웹 페이지의 첫 번째 제품의 이름을 가져옵니다.

 

IMPORTHTML 함수는 웹 페이지에서 Excel Online 및 Google Sheets로 데이터를 가져오는 데 유용한 도구입니다. 제품 이름, 가격, 설명 및 리뷰와 같은 다양한 데이터를 가져오는 데 사용할 수 있습니다.

다음은 IMPORTHTML 함수를 사용하기 위한 몇 가지 추가 팁입니다.

• 가져오는 HTML 문서가 자주 업데이트되는 경우 IMPORTHTML 함수와 REFRESH 함수를 함께 사용하는 것이 좋습니다. 이렇게 하면 스프레드시트의 데이터가 항상 최신 상태를 유지할 수 있습니다.
• IMPORTHTML 함수를 사용하여 웹 페이지의 특정 표에서 데이터를 가져올 수 있습니다. 이렇게 하려면 XPath 표현식을 사용하여 가져오려는 데이터가 포함된 table 요소를 선택해야 합니다.
• IMPORTHTML 함수를 사용하여 표의 특정 행 또는 열에서 데이터를 가져올 수 있습니다. 이렇게 하려면 XPath 표현식을 사용하여 가져오려는 데이터가 포함된 tr (행) 또는 td (열) 요소를 선택해야 합니다.

도움이 되었기를 바랍니다! 다른 질문이 있으시면 언제든지 알려주세요.

(여러 드래프트에서 마음에 드는 번역을 고를 수도 있다. 스크린 캡처는 아래 접는 글에)

 

 

데이터 크롤링까지는 아니지만 한 페이지안에서 간단히 데이터 스크랩 정도는 스프레드시트로 할 수 있나 보다. 단지 어디서 데이터를 끌어올지 알고 사용해야 해서 페이지소스를 바로 볼 수 없는 iOS 모바일이나 태블릿 브라우저에서는 쓰기 까다롭다. 소스 뷰어를 깔지 않는 이상. 그게 좀 불편하네.

 

소스를 확인 못하고 그냥 마구잡이로 리스트 번호 가늠해서 데이터를 끌어와 봤다. 단순한 데이터 스크래핑을 굳이 이렇게? 사용 유령을 알면 유용 하려나? 아무튼 함수를 스프레드시트 에서 쓸 수 있었다. 확인. 엑셀 온라인은 안 되는 거 같던데..

 

일단 오늘은 여기까지.