→利用者:夜泣き/スクリプトについて
>Fet-Fe |
>夜泣き |
||
| 14行目: | 14行目: | ||
* あと当職はその書き方をしたことがないのでわからないのですが、doublesoupとかって必要ですか？soupにfindなどした結果にそのままさらにfindなどの処理をすることは多分可能だと思います | * あと当職はその書き方をしたことがないのでわからないのですが、doublesoupとかって必要ですか？soupにfindなどした結果にそのままさらにfindなどの処理をすることは多分可能だと思います | ||
--[[利用者:Fet-Fe|Fet-Fe]] ([[利用者・トーク:Fet-Fe|トーク]]) 2022年6月20日 (月) 12:06 (JST) | --[[利用者:Fet-Fe|Fet-Fe]] ([[利用者・トーク:Fet-Fe|トーク]]) 2022年6月20日 (月) 12:06 (JST) | ||
::{{CM|返信}} - 出会いに感謝。徹夜で意識が薄れながらギリギリに作った感じなのでやっぱ不具合ありましたか。今も頭あまり回ってませんがぶっちゃけ貴職のほうがスクリプト能力嵯峨山なので言ってもらえた所は直していこうかと。 | |||
*[[テンプレート:Archive]]ではなく[[テンプレート:CallinShowLink]] | |||
**存在を失念しておりました。修正コスト安そうなのでバグ取りと同時に直してしまいます。 | |||
*<code>request_onetime</code>に<syntaxhighlight lang="python3" inline>sleep(1)</syntaxhighlight>を入れた方が良い | |||
**失敗した時は長く待ってリトライさせるために失敗用と成功用で待ち時間分けて失敗した時はrequestメソッド内で5秒待ち成功した時はrequestメソッド呼び出した後に呼出側で必ず1秒待つようにしてるのでDOS攻撃は一応大丈夫です。request_onetimeで必ず1秒待って失敗したとき追加で4秒待たせればいいだけなので指摘されると確かにいいコードではないですね。 | |||
* 出力の魚拓がTor用のURLになっています | |||
**恐らくスクレイピングした場所がバグってるようです。当職無能頭唐澤眼球麻原につき気づきませんでした。 | |||
*返り値がNoneの可能性があるとき | |||
**これもなんとかします。 | |||
*魚拓も自動で取れる | |||
**玉ねぎだと取得時に100%One more stepが出ますのでさすがにrecaptcha突破は無理です。生IPだとかあんま使われてないVPNなら出てこないときもありそうですがスクリプト回す人全員が全員そんな環境ではないし最初から諦めてました。別で魚拓取得するためだけのスクリプトを作って回せる人に回してもらう方が現実的かと。 | |||
*soupにfindなどした結果にそのままさらにfindなどの処理をすることは多分可能 | |||
**ガチなのですか？soupはBeautifulSoupオブジェクトでfind使って取得したのはTagオブジェクトなので無理だと思ってました。それに使ってる中で動かなかった記憶もありますが別の理由でエラーだったのかもしれないですしあとで試してみます。 | |||
--[[利用者:夜泣き|夜泣き]] ([[利用者・トーク:夜泣き|トーク]]) 2022年6月20日 (月) 22:19 (JST) | |||