Stweet日本語ドキュメント

Twitterの非公式APIから、ツイートやユーザーを高速に切り抜きするためのPythonライブラリです。

このツールは、検索フレーズによるツイート、IDによるツイート、ユーザー名によるユーザーを切り取ること支援します。TwitterのAPIを使用していますが、Webサイトでも同じAPIが使用されます。

ライブラリーの主な利点

• シンプルなコード – ユーザがライブラリに貢献可能。
• ドメインオブジェクトとインターフェース – 機能の主要部分は置き換えることができる（例：Webリクエストの呼び出し）、ライブラリは基本的なシンプルなソリューションを持っている。
  拡張したい場合、フォークすることも可能。
• 統合テストによる100%のカバレッジ – この利点は、APIの変更を見つけることができ、テストは毎週実施され、タスクが失敗したときに、簡単に変更のソースを見つけることができる。
• カスタムツイートとユーザー出力 – ツイートやユーザーのカスタムフォーマットを保存することが可能。

インストール

pip install -U stweet

基本的な使い方

簡単な依頼をするためには、切り取り・タスクが準備する必要がある。次のタスクはRunnerで処理。

import stweet as st

search_tweets_task = st.SearchTweetsTask(
    all_words='#covid19'
)
tweets_collector = st.CollectorTweetOutput()

st.TweetSearchRunner(
    search_tweets_task=search_tweets_task,
    tweet_outputs=[tweets_collector, st.CsvTweetOutput('output_file.csv')]
).run()

tweets = tweets_collector.get_scrapped_tweets()

このコードでは、ハッシュタグ #covid19 を持つすべてのツイートを呼び出しています。その結果、tweetsオブジェクトに切り取りされたツイートのリストが格納されます。

上記の例は、検索フレーズでツイートを切り取りする方法を示しています。Stweetでは、ツイートIDでスクラップすることもできます。

以下がその例です。

import stweet as st

tweets_by_ids_task = st.TweetsByIdsTask(['1336002732717727752', '1338916735479496704'])
tweets_collector = st.CollectorTweetOutput()

st.TweetsByIdsRunner(
    tweets_by_ids_task=tweets_by_ids_task,
    tweet_outputs=[tweets_collector, st.CsvTweetOutput('output_file.csv')]
).run()

tweets = tweets_collector.get_scrapped_tweets()

Stweetは、ユーザーのスクリーンネームでユーザー情報を切り取りすることができます。

import stweet as st

get_users_task = st.GetUsersTask(['donaldtuskEPP', 'JoeBiden', 'realDonaldTrump'])
users_collector = st.CollectorUserOutput()

st.GetUsersRunner(
    get_user_task=get_users_task,
    user_outputs=[users_collector]
).run()

users = users_collector.get_scrapped_users()

Stweetでは、リクエストライブラリであるst.RequestsWebClientをベースにしたデフォルトのWebClientを実装しています。クラスはすべてのプロパティをデフォルト値で持っているが、それらを変更することで、ユーザーはプロキシを設定したり、ssl検証を無効にしたりすることができます。

このスニペットでは、その使い方を紹介しています。

import stweet as st

search_tweets_task = st.SearchTweetsTask(
    all_words='#covid19',
)
tweets_collector = st.CollectorTweetOutput()

proxies_config = st.RequestsWebClientProxyConfig(
    http_proxy="<Your http proxy URL>",
    https_proxy="<Your https proxy URL>"
)

st.TweetSearchRunner(
    search_tweets_task=search_tweets_task,
    tweet_outputs=[tweets_collector, st.CsvTweetOutput('output_file.csv')],
    web_client=st.RequestsWebClient(proxy=proxies_config, verify=False),
).run()

tweets = tweets_collector.get_scrapped_tweets()

本ライブラリの重要な詳細とクラスはすべて以下のとおりです。

SearchTweetsTaskクラス

このクラスは、ツイートをスクラップするタスクを表します。以下のプロパティを含む。

すべてのプロパティはTwitterの詳細検索から取得したもので、デフォルトでは「なし」となっています。

SearchRunnerクラス

SearchRunnerクラスは、SearchTweetsTaskで指定されたツイートをスクラップすることができるライブラリです。ランナーには以下のプロパティがあります。

TweetsByIdsTaskクラス

ツイートをIDでスクラップするタスクを表すクラスで、シンプルなプロパティを持ちます。

TweetsByIdsRunnerクラス

TweetByIdsRunnerクラスは、TweetByIdsTaskで指定されたツイートをスクラップすることができるライブラリです。ランナーには以下のプロパティがあります。

GetUsersTaskクラス

スクラップユーザーに対するタスクを表すクラスで、シンプルなプロパティを持っています。

GetUsersRunnerクラス

GetUsersRunner クラスを使用すると、GetUsersTask で指定されたユーザーをスクラップすることができます。ランナーには以下のプロパティがあります。

TweetOutputクラス

TweetOutputは、スクラップされたツイートをエクスポートするためのインターフェースです。Stweetには、以下のような実装がある。

さらに、TweetOutputは他にも様々な方法で実装することができます。

UserOutputクラス

UserOutputは、スクラップされたユーザをエクスポートするためのインターフェースです。Stweetには、以下のような実装があります。

さらに、UserOutputは、他の多くの方法で実装することができます。

ProxyClientRequestsクラス

ProxyClientRequestsは、st.WebClientの実装で、プロキシを使用することができ、request.requestメソッドで使用できる追加オプションを提供することができます。

さらに、独自のWebClientを実装することも可能です。