pythonでスクレイピング【Beautiful Soup4】

人工知能を使って遊びたいので、pythonの勉強を始めました。この記事を書いている時点で、１週間ほど経過しました。すでに何度か挫折しそうになっている状況です。

人工知能に学習させるデータを取得するためには、スクレイピングをする必要があるようです。他のサイト様の力を借りて、ざっくりと備忘録を書きます。

途中で出てきた分からない単語も、その都度ピックアップ。

僕の現状

progateでpythonのコースを少しだけ。pythonⅠからpythonⅣまでを2周ほど。pythonⅤは、まだやっていない。

HTMLは、ググりながら書き換えたり付け加えたりができる程度。

Beautiful Soup4を使う。環境構築から、基本的な使い方を勉強できる。

コードを細かく分けて解説してくれているのが嬉しい。

pythonのライブラリである、Requestsについて。情報が少なかったので別サイトを。

なんか聞いたことあるような「メソッド」という言葉。少しでも分からない単語は、すぐに調べる。

これは、pythonではなくHTMLの話。知ってるようで知らないことだったので。

ひとつ前のリンクでは、完成しているコードを解説する流れでした。

こちらのリンクでは、スクレイピングをするために必要な基礎知識を順番に解説してくれています。しかも、文章がやさしいです。

連載形式になっており、内容も盛りだくさんです。

デベロッパーツールを見て、必要なclass属性を持つ要素を取得する。getTextメソッドを使って、テキストのみを取得。そして、txtファイルとして保存する。id属性でもOK。

試しに競馬のレースデータを取得してみた。が、当然、表のようにはならず、数字の羅列がファイルに書き込まれただけになった。

ただの暗号ができあがった…

このあとで機械学習する際に、使いやすいデータの形にしておく方法を探す。

Pandasとやらも使えるのかも！scrapyも調べたい。