?

Log in

No account? Create an account
как все сохранить - Поклонник деепричастий [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

как все сохранить [авг. 15, 2018|12:47 am]
Anatoly Vorobey
[Tags|, ]

Прошу помощи зала. Можно ли как-то заставить Chrome (или другой современный браузер) тупо записывать на диск все, что он скачивает с веб-серверов, включая бэкграундные AJAX-запросы? Если есть сайт, который показывает мне картинку или играет аудио-файл, и подгружает эти ресурсы незаметно для меня с сервера, я просто хочу копии этих подгрузок в виде файлов у себя на диске. Не папка кэша, куда что-то попадает, что-то нет, что-то стирается, итд., а просто все сохранять подряд. Ведь в таком желании вроде нет ничего нерезонного или невозможного технически, верно? Да, я могу весь этот траффик увидеть в Developer Tools и сохранить каждый отдельный ресурс оттуда, но это очень долго и муторно.

Поставить прокси и записывать все в нем не поможет (если я верно понимаю), потому что мне нужно, чтобы это работало для HTTPS-сайтов тоже.

Как решают такую проблему?
СсылкаОтветить

Comments:
[User Picture]From: loislo
2018-08-14 10:04 pm
Морда девтулов работает с браузером через протокол.
Есть описание протокола. https://chromedevtools.github.io/devtools-protocol/
(Ответить) (Thread)
From: karpion
2018-08-14 10:30 pm
1) Смотрите в сторону расширений. Наверняка такие имеются.

2) Если в проксю и в браузер установить самодельный корневой сертификат (в проксю - закрытую часть, в браузер - открытую), то прокся спокойно перехватит и HTTPS-трафик. Правда, при этом она будет его перешифровывать, что создаёт заметную нагрузку на процессор - но это не проблема.
(Ответить) (Thread)
[User Picture]From: only_for_read
2018-08-14 10:39 pm
Fiddler?
(Ответить) (Thread)
[User Picture]From: mopexod
2018-08-15 05:35 am
Он, емнип, умеет https анализировать (надо dev сертификат делать), но не помню, чтобы умел всё сохранять.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: ak_47
2018-08-14 11:30 pm
Во времена дайал-апа я пользовался Offline Explorer для скачивания всякой документации и прочих онлайн справочников. Это была лучшая программа на то время. Сейчас проверил, она до сих пор жива, но не бесплатная.
(Ответить) (Thread)
[User Picture]From: Serge Kork
2018-08-15 01:12 am
https://chrome.google.com/webstore/detail/page-saver/kbchedinmkicifjhlmlcnklhephjpngp?hl=en
(Ответить) (Thread)
[User Picture]From: cryinstone
2018-08-15 02:35 am
Я знаю такой плагин для Firefox
(Ответить) (Thread)
[User Picture]From: ledernierheros
2018-08-15 10:56 am
Как он называется?
(Ответить) (Parent) (Thread)
[User Picture]From: volger
2018-08-15 04:13 am
Какой-нибудь кеширующий прокси, про ssl, как это, к примеру, сделано в handycache: http://handycache.ru/content/view/72/5/
В нем же вроде можно настройку врубить типа "сохранять все, ваще все".
Еще вот такое видел: http://www.httrack.com/
(Ответить) (Thread)
[User Picture]From: trancerd
2018-08-15 04:22 am
Как-то так. Я Teleport пользовал в своё время.
http://geek-nose.com/skachat-sajt-celikom-kakoj-servis-vybrat/
(Ответить) (Thread)
[User Picture]From: dmitrmax
2018-08-15 05:58 am
Только для статического вэба.
(Ответить) (Parent) (Thread)
[User Picture]From: sleeping_death
2018-08-15 04:25 am
если добудете простой проверенный рабочий вариант - поделитесь, пожалуйста.

ничего нерезонного
незаконного?
(Ответить) (Thread)
[User Picture]From: livelight
2018-08-15 05:41 pm
Учитывая, что наличие по какой-либо причине нелегального контента в дисковом кеше браузера может считаться составом преступления -- гулять так гулять: пусть лежит на диске, но в удобном виде!
(Ответить) (Parent) (Thread)
[User Picture]From: shadow_ru
2018-08-15 09:25 am
Да, я могу весь этот траффик увидеть в Developer Tools и сохранить каждый отдельный ресурс оттуда, но это очень долго и муторно.

1. Сначала нажимаете чекбокс "Preserve log".
2. Нагоняете нужный трафик.
3. Правой кнопкой по любой строке, Save as HAR with content (HAR -- специальный формат для архива веб-сессий).
4. Открываете HAR любой подходящей программой (HAR Viewer, Fiddler, PCAP Web Performance Analyzer, etc).
....
10. PROFIT!

Edited at 2018-08-15 09:27 (UTC)
(Ответить) (Thread)
[User Picture]From: avva
2018-08-15 09:29 am
Мне это нужно делать для 5000 маленьких MP3-файлов, скачиваемых в фоновом режиме веб-сайтом, на котором я сижу.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: nlothik
2018-08-15 02:19 pm
BurpSuite в режиме MITM SSL Proxy.

Мы так траффик, генерируемый вирусами, расшифровывали. Керемендую.
(Ответить) (Thread)
[User Picture]From: irene221b
2018-08-16 09:36 pm
+1
(Ответить) (Parent) (Thread)
[User Picture]From: uhbif19
2018-08-15 10:20 pm
MITMproxy ровно для прозрачного перехвата HTTPS и сделан.
Не знаю есть ли у него встроенная комманда для сохранения запросов в отдельные файлы, но на это точно можно просто наскриптовать его.


https://mitmproxy.org
https://blog.selectel.ru/analiz-http-trafika-s-mitmproxy/
(Ответить) (Thread)