Липецкие форумы
22 Октября 2019, 17:51:39 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
Страниц: 1 2 [Все]   Вниз
  Печать  
Автор Тема: Экономим трафик (по советам Lemon_Joe)  (Прочитано 15508 раз)
0 Пользователей и 1 Гость смотрят эту тему.
biruk
Гость
« : 10 Ноября 2007, 22:56:55 »

Собственно все советы на http://nix.lipetsk.ru/index.php?itemid=294

После того, как сделаете то, что написал Lemon_Joe, то выполните рекомендации от biruk.

А точнее
файл proxy.pac

function FindProxyForURL(url, host)
{
if (isInNet(host, "127.0.0.1", "255.255.255.255")) return "DIRECT";
if (isInNet(host, "195.34.224.1", "255.255.224.0")) return "DIRECT";
if (isInNet(host, "172.16.0.0", "255.240.0.0")) return "DIRECT";
if (isInNet(host, "81.20.192.0", "255.255.240.0")) return "DIRECT";
if (isInNet(host, "192.168.0.0", "255.255.0.0")) return "DIRECT";
if (isInNet(host, "10.0.0.0", "255.0.0.0")) return "DIRECT";
if (shExpMatch(url, "*.rar")) { return "DIRECT"; };
if (shExpMatch(url, "*.7z")) { return "DIRECT"; };
if (shExpMatch(url, "*.jar")) { return "DIRECT"; };
if (shExpMatch(url, "*.ace")) { return "DIRECT"; };
if (shExpMatch(url, "*.r00")) { return "DIRECT"; };
if (shExpMatch(url, "*.zip")) { return "DIRECT"; };
if (shExpMatch(url, "*.exe")) { return "DIRECT"; };
return "PROXY 127.0.0.1:8080";

файл proxy.reg добавить для автоматической загрузки в реестр, только пути к java уточнить и исправить.

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run]
"proxy"="cmd /c start "" /D D:\\"Program Files"\Java\jre1.6.0_02\bin\ D:\\"Program Files"\Java\jre1.6.0_02\bin\javaw.exe -jar toonel.jar -t"


После перезагрузки проверяйте, что все работает
на http://127.0.0.1:7999/

Если кто чего не понял, сам виноват. Все делаете на свой страх и риск. У меня работает.

Для примера загружаю www.yandex.ru с картинками и прочим и вижу такую картину на http://127.0.0.1:7999/

JPEG Quality, %: у меня 10
GIF Quality: у меня Low

Картинки пожаты конечно, но мне это все равно, главное расход упал.

running since: 10.11.2007 22:37:09
    compressed     uncompressed     ratio
In:   53,107 Kb    82,753 Kb    36%
Out:   5,783 Kb    11,374 Kb    50%
Total:   58,891 Kb    94,127 Kb    38%


open tunnels: 0

since last refresh: 10.11.2007 22:50:10
     compressed     uncompressed     ratio
In:   53,107 Kb    82,753 Kb    36%
Out:   5,783 Kb    11,374 Kb    50%
Total:   58,891 Kb    94,127 Kb    38%
Записан
biruk
Гость
« Ответ #1 : 10 Ноября 2007, 23:17:45 »

Кстати почта тоже легко забирается и отправляется, я проверял на mail.ru. Ну и если не понятно как настроить почту, то на http://127.0.0.1:7999/ в разделе - port mapping
прописываете адреса почтовых серверов, а в почтовой програмке
такие адреса

для протокола pop
сервер 127.0.0.1 порт 110

для протокола smtp
сервер 127.0.0.1 порт 25

УДАЧИ.

Кстати можно и ручками запустить для начала из командной строки, чтоб попробывать. Команда такова

cmd /c start "" /D D:\\"Program Files"\Java\jre1.6.0_02\bin\ D:\\"Program Files"\Java\jre1.6.0_02\bin\javaw.exe -jar toonel.jar -t

toonel.jar должен лежать в каталоге
D:\\"Program Files"\Java\jre1.6.0_02\bin\

После запуска команды идите на http://127.0.0.1:7999/ и делайте настройки, после этого в каталоге
D:\\"Program Files"\Java\jre1.6.0_02\bin\
проверьте наличие toonel.ini

И еще не забудте настроить Ваш браузер на прокси 127.0.0.1 и на порт 8080
Записан
biruk
Гость
« Ответ #2 : 10 Ноября 2007, 23:42:29 »

И еще немного о контроле за трафиком.

Тут тема была об ограничениях путем правки таблицы маршрутизации.
Файлы составлялись on.bat и off.bat

Предложу еще вариант.

Итак по умолчанию таблица маршрутизации может выглядеть как-то так с учетом что адрес ПК 192.168.1.9. Смотреть командой route print

Активные маршруты:
Сетевой адрес           Маска сети      Адрес шлюза       Интерфейс  Метрика
         0.0.0.0        0.0.0.0      192.168.1.1     192.168.1.9     1
        127.0.0.0        255.0.0.0        127.0.0.1       127.0.0.1     1
         192.168.1.0    255.255.255.0      192.168.1.9     192.168.1.9     30
      192.168.1.9  255.255.255.255        127.0.0.1       127.0.0.1     30
    192.168.1.255  255.255.255.255      192.168.1.9     192.168.1.9     30
255.255.255.255  255.255.255.255      192.168.1.9     192.168.1.9     1

То что позволяет ПК ходить в Интернет прописано в ней строчкой

         0.0.0.0        0.0.0.0      192.168.1.1     192.168.1.9     1

Наша задача, чтоб при загрузке ПК этой строчки небыло, а была только маршрутизация на адреса ЦТ.

Сделать это легко. Просто не указывайте в параметрах сети шлюз по умолчанию 192.168.1.1 и тогда при загрузке строчки
  0.0.0.0        0.0.0.0      192.168.1.1     192.168.1.9     1
не будет
но нам нужно, чтоб при загрузке автоматом работала внутренняя сетка ЦТ.

Для этого выполним в командной строке последовательно

route -p add 195.34.224.0 mask 255.255.224.0  192.168.1.1
route -p add 81.20.192.0 mask 255.255.240.0 192.168.1.1
route -p add 192.168.0.0 mask 255.255.0.0 192.168.1.1
route -p add 172.16.0.0 mask 255.240.0.0 192.168.1.1
route -p add 10.0.0.0 mask 255.0.0.0 192.168.1.1

ну и чтоб аська работала

route -p add      205.188.0.0    mask  255.255.0.0      192.168.1.1
route -p add      64.12.0.0   mask   255.255.0.0      192.168.1.1

В результате получаем такую таблицу по route print

Активные маршруты:
Сетевой адрес           Маска сети      Адрес шлюза       Интерфейс  Метрика
         10.0.0.0        255.0.0.0      192.168.1.1     192.168.1.9     1
        64.12.0.0      255.255.0.0      192.168.1.1     192.168.1.9     1
        127.0.0.0        255.0.0.0        127.0.0.1       127.0.0.1     1
       172.16.0.0      255.240.0.0      192.168.1.1     192.168.1.9     1
      192.168.1.0    255.255.255.0      192.168.1.9     192.168.1.9     30
      192.168.1.9  255.255.255.255        127.0.0.1       127.0.0.1     30
    192.168.1.255  255.255.255.255      192.168.1.9     192.168.1.9     30
     195.34.224.0    255.255.224.0      192.168.1.1     192.168.1.9     1
      205.188.0.0      255.255.0.0      192.168.1.1     192.168.1.9     1
        224.0.0.0        240.0.0.0      192.168.1.9     192.168.1.9     30
  255.255.255.255  255.255.255.255      192.168.1.9     192.168.1.9     1
===========================================================================
Постоянные маршруты:
  Сетевой адрес            Маска    Адрес шлюза      Метрика
     195.34.224.0    255.255.224.0      192.168.1.1       1
       172.16.0.0      255.240.0.0      192.168.1.1       1
         10.0.0.0        255.0.0.0      192.168.1.1       1
      205.188.0.0      255.255.0.0      192.168.1.1       1
        64.12.0.0      255.255.0.0      192.168.1.1       1

Т.е. у нас теперь постоянные маршруты на ЦТ при загрузке а строки 0.0.0.0 нет при загрузке/

Теперь чтоб включать и выключать Интернет достаточно файлы on.bat и off.bat привести в такой вид

on.bat
 
route add 0.0.0.0 mask 0.0.0.0 192.168.1.1

off.bat

route delete 0.0.0.0

т.е. будем манипулировать одной строкой в таблице и то добавлять 0.0.0.0, то удалять.

Особенность такой последовательности правил, что при включении ПК он не имеет доступа по умолчанию в адресное пространство сети Интернет.

Кто ничего не понял. тому ничего не делать.
Записан
Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #3 : 11 Ноября 2007, 07:56:19 »

ImgLikeOpera - расширение Firefox для отключения графики. Идеально работает в паре с toonel.
Записан
biruk
Гость
« Ответ #4 : 11 Ноября 2007, 10:24:19 »

Цитата: "Zilon"
ImgLikeOpera - расширение Firefox для отключения графики. Идеально работает в паре с toonel.

А у меня просто Opera и картинки по умолчанию не грузятся или режим только картинки из кэша, работает еще идеальней, если надо какую-то страницу лицезреть с картинками, то жмешь загрузить картинки и порядок.

В общем способов много. Согласен, что ImgLikeOpera нужет, тем кто не привык к Opera. Кстати под Linux я этот плагин пользую в Огненном лисе.
Записан
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #5 : 11 Ноября 2007, 10:34:25 »

Цитата: "biruk"
Кстати под Linux я этот плагин пользую в Огненном лисе.

а почему-бы не использовать оперу под линукс? Улыбающийся
Записан

biruk
Гость
« Ответ #6 : 11 Ноября 2007, 11:04:26 »

NeO, тут у меня в ней менюху коробило квадратиками, только вчера разобрался почему, а так и под Linux можно.

В общем это по теме - экономить трафик можно несколькими способами.
1. Компрессия при передаче.
2. Контроль над адресным пространством.
3. Отключение ненужной графики.
4. Блокировка рекламы.

Кто еще что предложит.

И еще уважаемые пользователи домолинка. Некоторые задачи нетривиальны, так что если Ваш ПК в результате выполнения советов вдруг стал в позу и не грузится или нет доступа в Интернет, то сначала подумайте что Вы намудрили, а потом уж в ЦТ обращайтесь. Это так, как предупреждение, не понимаешь как и что происходит, не делай и не пробуй.
Записан
drmax
Гость
« Ответ #7 : 11 Ноября 2007, 11:10:42 »

biruk
хождением через анонимный проксь, поднятый на одном из липецких  ресурсов
халява - сэр
Записан
biruk
Гость
« Ответ #8 : 11 Ноября 2007, 11:20:30 »

drmax IP в студию. Сказал раз, говори и 2.

А собственно забыл. Ты прав.

5. Использования прокси.

Заметил, что кэш в браузерах и прокси дополняют друг друга.

Сегодня toonel.jar настрою на локальный прокси. Будет еще лучше.

Ну еще советы.

Кстати, если у некоторых пылится старый ПК с первым пеньком и от 64 метров оперативки, то на основе Linux based дистрибутива IPCOP может получится неплохой прокси-сервер. Монитор нужен только на время установки, далее остается один системный блок с парой сетевых который мониторится и управляется по сети. Статью об IPCOP можно вроде найти на www.thg.ru.
Записан
drmax
Гость
« Ответ #9 : 11 Ноября 2007, 11:24:52 »

biruk
да собственно говоря это единственно разумный способ халявного хождения по инету.
вот только ЛЭС будет в обиде....
Записан
biruk
Гость
« Ответ #10 : 11 Ноября 2007, 11:43:42 »

drmax а что это они будут в обиде. Внутренний трафик по 100 Гигабайт в месяц задаром не обиделись. То что в рамках договора - тут никаких обид. Никто в ЦТ не обижается когда ЦТ платится за 1000 Мбайт, а потребляется в половину от заказанного. И ничего.

Хотя кластер прокси за счет внутренней сети был бы неплох, но только вот надо подумать как сделать, чтоб если на локальном прокси нет ресурса, то он бы обслуживал только локального клиента, а остальных из кэша, а если в кэше нет, то остальных отправлял бы в Интернет напрямую.

В общем схема такова - браузер перед запросом в Интернет должен исследовать кэши в сети ЦТ, а если там нет нужного ресурса, то тогда лезть в Интернет. Для владельца кэша алгоритм несколько иной должен быть, если в кэше нет ресурса, то прокси должен лезть в инет и сохранять запрошенное у себя в кэше, чтоб другие могли брать из него.

Может кто что слышал о подобном. Что-то я не припомню. Просто про кластер прокси знаю, но это не подходит, т.к. владелец кэша будет обслуживать всех пользователей.
Записан
drmax
Гость
« Ответ #11 : 11 Ноября 2007, 11:53:59 »

biruk

да у меня гиг трафика улетает за 2 - 3 недели......

а если такая халява будет - народ начнет через анонимный проксик фильмы с рапидшар тащить - мозгов то нет ни у кого......

и дело кончится тем, чо дырка просуществует ровно 3 часа - до тех пор, пока ЦТ не обнаружит, что трафик страшно возрос

зы.
я не говорю про всякие proxy.lipetsk.ru
я имел в виду халявный проксик, собранный на каком нибудь pupkin.lipetsk.ru
Записан
drmax
Гость
« Ответ #12 : 11 Ноября 2007, 11:54:37 »

ps.

гы гы
наверняка сейчас с десяток - другой умельцев спалил.....

у-у-у-у-у-у

халявщики.......
Записан
biruk
Гость
« Ответ #13 : 11 Ноября 2007, 12:04:53 »

Цитата: "drmax"
ps.

гы гы
наверняка сейчас с десяток - другой умельцев спалил.....

у-у-у-у-у-у

халявщики.......


Да вопрос не про халяву, а про то как в рамках действующих правил не тащить из внешки, то что есть внутри. И не искать это в DC. Так как www страничек в DC нет. Речь шла именно о www серфинге.

Я так понимаю в ЦТ tcnm кэш, но он не резиновый, несколько терабайт на дисках пользователей ЦТ не помешали бы.

Собственно, если у меня на работе есть прокси и если там трафик не выбран полностью, то ничего мне не мешает использовать этот трафик даже из дома просто ограничив по IP доступ к прокси на работе. Мое предложение было иным.

Кстати а если интегрировать как-то DC и браузер. Это была бы революция. Технология такова, запрос в инет идет по TTH в заголовке HTTP. Т.е. каждая страница имеет свой TTH. И одновременно (точнее сначала) в  DC. Если в DC ее нет, то запрашивается с Интернета. Эх жаль я не программист, а то DC-браузер бы сделал.
Записан
drmax
Гость
« Ответ #14 : 11 Ноября 2007, 12:09:33 »

biruk

см xcoders форум - я вторую неделю про поисковик говорю по локальным ресурсам
все есть.... скрипты и пр. хрень

вот пример как это работает http://proisk.ru/
сетка наподобие домолинковой....

отличный поисковик
Записан
drmax
Гость
« Ответ #15 : 11 Ноября 2007, 12:11:41 »

этот поисковик и по фтп и по дс ресурсам паука натравливает и по хттп ресурсам ( внутренним)
Записан
biruk
Гость
« Ответ #16 : 11 Ноября 2007, 12:18:48 »

drmax спасибо, обязательно гляну.
Глянул, неплохо. В Домолинке такое бы непомешало бы.
Записан
drmax
Гость
« Ответ #17 : 11 Ноября 2007, 12:25:39 »

biruk

хостинга нет
Записан
biruk
Гость
« Ответ #18 : 11 Ноября 2007, 12:29:14 »

Возвращаясь к топику, если отключить картинки или разрешить только кэшированные, то результат будет очень неплох. Не всем нужны картинки, некоторые ищут информацию.
running since: 11.11.2007 11:50:24
          compressed     uncompressed     ratio
In:   310,042 Kb    1,652 Mb    82%
Out:   27,506 Kb    54,354 Kb    50%
Total:   337,548 Kb    1,706 Mb    81%

2 drmax а попытки были найти хостинг. Какие результаты.
Записан
drmax
Гость
« Ответ #19 : 11 Ноября 2007, 12:34:05 »

biruk

да мне песочница домолинковская пофигу.....
мне проще сотку заплатить и взять нормальный американский хостинг
чем тут унижаться у цт и платить страшные деньги  не известно за что ( настолько все убого и дорого)

у пиндосов сейчас за 100$ - 5-10 гигов места, анлим по трафу, анлим по доменам, есс-но анлим по доменам 3 уровня, мыло неимоверное кол-во и пр.....

потому ребятам с xcoders предложил - ну да - да - а воз и ныне там....

не знаю....

вот тут вот тема
http://forums.xcoders.ru/viewtopic.php?t=437&postdays=0&postorder=asc&start=0
Записан
Kloyn
Завсегдатай
***

Рейтинг: 0
Offline Offline

Сообщений: 265



Просмотр профиля
« Ответ #20 : 11 Ноября 2007, 12:37:06 »

У меня вопрос (тупой правдо) с помощью какой проги можно запустить toonel.jar  :oops:
Записан
zik-zak
Постоялец
**

Рейтинг: -7
Offline Offline

Сообщений: 152


Просмотр профиля WWW
« Ответ #21 : 11 Ноября 2007, 12:53:11 »

А сколько процентов трафа экономится с помощью этого спосрба?
Записан

«Девиз гражданина: быть, а не казаться».

http://predpri.ru/ - Политический Блог
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #22 : 11 Ноября 2007, 13:11:40 »

Kloyn
java нужна. Поищи в дц java или jre.
zik-zak
30-60% в зависимости от настроек софтины и браузера.
Записан

ury
Живет на форуме
*****

Рейтинг: 33
Offline Offline

Сообщений: 1136


Welcome to ...


Просмотр профиля WWW
« Ответ #23 : 11 Ноября 2007, 13:51:27 »

Как я понимаю это http://www.toonel.net/ что-то наподобие Хэндикэш и ТрафикКомпрессор?
Так же трафик идет через сжимающий проксик. В чем различия? Кроме $
Записан

StasikElets
Живет на форуме
*****

Рейтинг: -6
Offline Offline

Сообщений: 1098



Просмотр профиля
« Ответ #24 : 11 Ноября 2007, 13:52:37 »

а я TrafficCompressor пользуюсь... вбил как исключение ip внутренние, и когда на внешку лезу включаю. картинки откл., сжимает только текст... Кстати, оч. эффективно(без него 10-15 стр/мб, с ним 30-35стр/мб)...
И ещё вопрос: года 3-4 назад юзал прогу (потом удачно забыл название, всвязи с откл и-нета), которая интегрировалась во все браузеры, установленные на компе, и блокировала все баннеры и флеш-анимацию, которые мог прогружать браузер... Никто такое не видел?
Записан

biruk
Гость
« Ответ #25 : 11 Ноября 2007, 14:03:17 »

Цитата: "ury"
? Кроме $

Вот в $ и есть различие. ury если Вам захотелось покушать и лежат 2 пирожка, один за 10 $ а другой за 0 $ Вы какой скушаете.
Записан
ury
Живет на форуме
*****

Рейтинг: 33
Offline Offline

Сообщений: 1136


Welcome to ...


Просмотр профиля WWW
« Ответ #26 : 11 Ноября 2007, 14:07:02 »

Ясно.

ЗЫ: передомной тарелка блинчиков, жена напекла, и все за 0$ Улыбающийся
Блин, надо в подписи написать "В моем вопросе нет упрека"
Записан

biruk
Гость
« Ответ #27 : 11 Ноября 2007, 14:09:40 »

ury ну если у Вас тарелка блинчиков, тогда мы идем к Вам. (копирайт не мой, смотрим рекламу) Веселый

Извиняюсь за флуд, не удержался. Всех с хорошим настроением.
Записан
DROFA
Постоялец
**

Рейтинг: 78
Offline Offline

Сообщений: 194



Просмотр профиля
« Ответ #28 : 11 Ноября 2007, 18:02:34 »

Цитата: "StasikElets"
а я TrafficCompressor пользуюсь... вбил как исключение ip внутренние, и когда на внешку лезу включаю. картинки откл., сжимает только текст... Кстати, оч. эффективно(без него 10-15 стр/мб, с ним 30-35стр/мб)...
И ещё вопрос: года 3-4 назад юзал прогу (потом удачно забыл название, всвязи с откл и-нета), которая интегрировалась во все браузеры, установленные на компе, и блокировала все баннеры и флеш-анимацию, которые мог прогружать браузер... Никто такое не видел?

Как альтернатива Opera AC.
Записан

Задница - это универсальный инструмент, ведь через неё можно сделать абсолютно всё.
Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #29 : 11 Ноября 2007, 18:09:30 »

toonel.net в отличие от всех остальных бесплатен, стабильно работает и сжимает ещё и графику (кроме PNG и flash).
Записан
Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #30 : 11 Ноября 2007, 18:29:03 »

Цитата: "biruk"
Кстати а если интегрировать как-то DC и браузер. Это была бы революция. Технология такова, запрос в инет идет по TTH в заголовке HTTP. Т.е. каждая страница имеет свой TTH. И одновременно (точнее сначала) в DC. Если в DC ее нет, то запрашивается с Интернета. Эх жаль я не программист, а то DC-браузер бы сделал.


Отличная идея. Эдакий распределенный прокси.
Записан
Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #31 : 11 Ноября 2007, 21:31:13 »

Цитата: "Zilon"
Отличная идея.

Только неосуществимая, т.к. требует поддержки TTH со стороны веб-серверов.
Записан
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #32 : 11 Ноября 2007, 22:34:50 »

Цитата: "Zilon"
Только неосуществимая, т.к. требует поддержки TTH со стороны веб-серверов.

нифига подобного. Делается проксик, на который натравливается браузер, а что там  будет творить этот проксик браузер не волнует ни коим образом. НО, искать страницы в дц бессмысленно, ибо чтобы получить TTH необходима сама страница Улыбающийся Как вариант возможно искать по хешам запросов в специально для этого созданной пиринговой сети. И еще одно НО, большинство страниц в интернете являются динамическими, так что придется либо жертвовать актуальностью информации, либо кешировать только медиаконтент (изобрашения, флеш-анимацию, etc). Вот такие вот мысли по данному вопросу Улыбающийся
Записан

biruk
Гость
« Ответ #33 : 11 Ноября 2007, 22:51:37 »

По последнему замечанию мысль такая. Да страницы динамические, но запрос легко разбивается на текстовую часть и картинки, flash и прочее. При этом текст сами понимаете легко сжимается и мало весит, а вот остаток в виде картинок, это уже проблема.

А собственно идея в следующем, пиринговый кэш. У каждого броузера есть кэш. Если там валяется картинка, то независимо от ее названия в кэше у нее один ТТН. Далее идею наверное поняли. Модифицируем браузер таким образом, чтоб он делал TTH картинок на лету, запрашивал их в пиринговом кэше и если находил, то тащил из кэша, ну а если нет, то само собой из Интернета, но тут же сам делал ТТН, чтоб другие могли пользоваться сохраненной локально информацией. Вот такая идея народилась. Не знаю насколько эффективно, но если учесть, что человек скачал страницу и смотрит, то во время этого простоя делать  ПК нечего, кроме как делать ТТН. Вот и получим эффиктивную экономию. И от серверной части отвязались.
Записан
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #34 : 11 Ноября 2007, 23:32:58 »

Цитата: "biruk"
А собственно идея в следующем, пиринговый кэш. У каждого броузера есть кэш. Если там валяется картинка, то независимо от ее названия в кэше у нее один ТТН. Далее идею наверное поняли. Модифицируем браузер таким образом, чтоб он делал TTH картинок на лету, запрашивал их в пиринговом кэше и если находил, то тащил из кэша, ну а если нет, то само собой из Интернета, но тут же сам делал ТТН, чтоб другие могли пользоваться сохраненной локально информацией. Вот такая идея народилась. Не знаю насколько эффективно, но если учесть, что человек скачал страницу и смотрит, то во время этого простоя делать ПК нечего, кроме как делать ТТН. Вот и получим эффиктивную экономию. И от серверной части отвязались.

Во-первых: чтобы получить хеш, необходимо наличие файла, т. е. его надо сначала скачать, потом прохешировать и уже после этого искать по хешу в пиринговой сети. Отсюда получаем, что хеш самих файлов для наших целей бесполезен, а вот если взять хеш запроса, то можно что-то получить. Правда не уверен, что тут подойдет TigerTreeHash, но что-нибудт придумать можно.
Во-вторых: очень интересно послушать соображения по модификации закртых браузеров (Opera, IE) Улыбающийся Исходники никто не даст, да и геморой это будет дикий. Гораздо проще написать что-то подобное toonel, на той-же  java и получить кроссплатформенный инструмент, совместимый со всеми браузерами.
Ну и третий нюанс, ИМХО лучше использовать не кеш браузера, а отдельный, опять-же в целях лучшей совместимости.
Записан

Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #35 : 12 Ноября 2007, 00:25:26 »

Цитата: "NeO"
нифига подобного

В том-то и дело. Нужно, чтобы сервер передавал TTH в заголовке ответа. А это увы...
Записан
biruk
Гость
« Ответ #36 : 12 Ноября 2007, 07:40:20 »

Вообщето проще было бы сделать кластер из прокси, но для этого нужна безлимитка. Будем ждать.
Записан
Zilon
Постоялец
**

Рейтинг: -1
Offline Offline

Сообщений: 238



Просмотр профиля
« Ответ #37 : 12 Ноября 2007, 18:20:48 »

Ну допустим есть такая программа. Она представляет собой прокси-сервер/DC-клиент в одном флаконе и имеет свою расшаренную папку с кешем. В идеале должна она работать всегда в фоне и быть подключенной к паре хабов.

После запроса браузера, она перехватывает GET-заголовок, вычисляет  его md5-хеш и начинает искать в DC файл с именем md5. В случае нахождения скачивает его и отправляет в браузер. В противном случае, скачивает его из нета, присваивает ему имя md5 и кладет в расшаренную папку. Ну и отправляет в браузер естественно.

При частом посещении популярных ресурсов, к примеру wiki или sourceforge экономия траффика может быть колоссальной.
Записан
Kloyn
Завсегдатай
***

Рейтинг: 0
Offline Offline

Сообщений: 265



Просмотр профиля
« Ответ #38 : 15 Ноября 2007, 00:39:45 »

У меня проблема, я работаю с Оперой, вот ну поставил всё как сказано и окошко появляется и вот по этому адрксу тоже все открывается http://127.0.0.1:7999/  ,НО больше ни чего открыть не могу, например хочю открыть ЛИпФорум а мне пустая страница показывается.Что делать???
Записан
Kloyn
Завсегдатай
***

Рейтинг: 0
Offline Offline

Сообщений: 265



Просмотр профиля
« Ответ #39 : 15 Ноября 2007, 17:51:35 »

Что никто  не знает чтоли???
Записан
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #40 : 15 Ноября 2007, 18:29:37 »

Kloyn
Настройки проверяй. Если все настроено верно, то липфорум пойдет не через проксик. И смотри, не блокируется-ли проксик фаерволом.
Записан

biruk
Гость
« Ответ #41 : 15 Ноября 2007, 18:57:33 »

Согласен, нужно смотреть firewall. Пуск - Панель управления - Брандмауэр Windows. для начала выключи его совсем. если заработает, то дело в нем.
Записан
biruk
Гость
« Ответ #42 : 24 Ноября 2007, 16:43:31 »

Продолжаем тему. На этот раз снова экономим трафик, но уже за счет установки локального прокси сервера SQUID (в переводе с англ. КАЛЬМАР).

Данный прокси широко используется в UNIX like системах.

Но есть версия и для NT (в том числе работает и на XP).

Для начала возьмите вот этот файл squid.rar

Ищите его в DC, размер около 1 МБайта.
Скачиваете на диск С:

Распаковываете, должна образоваться папка squid на диске C:

а в ней подпапки

Содержимое папки C:\squid

24.11.2007  15:36    <DIR>          .
24.11.2007  15:36    <DIR>          ..
06.09.2007  10:56           173,085 ChangeLog
28.01.2007  16:00             4,191 CONTRIBUTORS
28.01.2007  16:00            18,328 COPYING
28.01.2007  16:00             1,036 COPYRIGHT
28.01.2007  16:00            15,813 CREDITS
28.01.2007  16:00             3,136 QUICKSTART
28.01.2007  16:00             1,414 README
28.01.2007  16:00             1,784 SPONSORS
24.11.2007  15:36    <DIR>          var
24.11.2007  15:38    <DIR>          system32
24.11.2007  15:38    <DIR>          share
24.11.2007  15:39    <DIR>          sbin
24.11.2007  15:39    <DIR>          libexec
24.11.2007  15:39    <DIR>          etc
24.11.2007  15:39    <DIR>          docs
24.11.2007  15:39    <DIR>          bin
24.11.2007  16:25                 0 t.txt
               9 файлов        218,787 байт
              10 папок   1,637,122,048 байт свободно

Далее жмем кнопку ПУСК и ищем пункт ВЫПОЛНИТЬ.
Далее набираем cmd и жмем клавишу ВВОД.
Открылось окошко.
В нем вводим последовательно такие команды
c:\
cd c:\squid
cd sbin

Установка Squid как системной службы. Соответственно:

squid -i -f c:/squid/etc/squid.conf -n Squid

Формируем кеш Squid.

squid -z -f c:/squid/etc/squid.conf

Проверяем что конфигурация кеша верна.

start squid -f c:/squid/etc/squid.conf

Такой вариант запуска позволяет запустить Squid в виде консольного приложения. В случае каких либо ошибок они будут выведены и их следует исправить.

Закрываем черное окошко, для этого жмем на крестик.

Далее

net start Squid

Для остановки net stop Squid

Далее в IE и Opera указываем адрес прокси 127.0.0.1 порт 3128

Одно но IE что-то пока не обрабатывает у меня pac файл. Пользуем оперу. Локальные сайты идут напрямую, а внешние через прокси. Для IE все идет через прокси.

И еще одно но. В архиве конфигурация для совместного использования с toolnet на 127.0.0.1 порт 8080.

Т.е squid пересылает свои запросы на 127.0.0.1 порт 8080.

Кому этого не надо, то правим

C:\squid\etc\squid.conf

строчку

cache_peer localhost       parent    3128  0  proxy-only no-digest no-query max-conn=32
на
#cache_peer localhost       parent    3128  0  proxy-only no-digest no-query max-conn=32

Т.е. впереди добавляем символ #.

Все, теперь прокси у Вас работает без toolnet.
Записан
biruk
Гость
« Ответ #43 : 24 Ноября 2007, 16:45:10 »

И еще чуть не забыл, спасибо Павел Пастушенко за статью. Пост выше написан по ней.
Записан
biruk
Гость
« Ответ #44 : 24 Ноября 2007, 16:54:42 »

Если кто не понял, то трафик будет ходить так.

Внешний для OPERA

Из opera - в squid - далее toonel - далее на адрес url

Внешний для IE

Из IE - в squid - далее toonel - далее на адрес url

Внутренний для OPERA

Из opera - далее url

Внутренний для IE

Из IE- - в squid - далее toonel - далее на адрес url (т.е. если url www.lipetsk.ru, то запрос уйдет в toonel и трафик будет внешним, а не внутренним, т.к. в IE пока proxy.pac у меня не работает


Я Вас предупредил. Накачаете через IE внутренний трафик как внешний, сами на себя обижайтесь. Я пользую Opera.
Записан
biruk
Гость
« Ответ #45 : 24 Ноября 2007, 17:28:41 »

Если возникли проблемы, то для начала посмотрите последнее сообщение в
C:\squid\var\logs\cache.log
Записан
NeO
Живет на форуме
*****

Рейтинг: -51
Offline Offline

Сообщений: 2611


Просмотр профиля WWW
« Ответ #46 : 24 Ноября 2007, 17:42:18 »

Чет фигня у тя тут написана Улыбающийся Поправь.
Цитата: "biruk"
Если кто не понял, то трафик будет ходить так.
Записан

biruk
Гость
« Ответ #47 : 24 Ноября 2007, 18:07:14 »

Цитата: "NeO"
Чет фигня у тя тут написана Улыбающийся Поправь.

Сам вижу, и еще в архиве нужно в одном файле исправить. А то когда делал архив, чуть накосячил.

Надо заменить в squid.conf

cache_peer localhost       parent    3128  0  proxy-only no-digest no-query max-conn=32

на

cache_peer 127.0.0.1       parent    8080  0  proxy-only no-digest no-query max-conn=32

И еще в proxy.pac следует заменить 127.0.0.1:8080 на 127.0.0.1:3128
Записан
biruk
Гость
« Ответ #48 : 24 Ноября 2007, 20:15:37 »

Цитата: "biruk"
Цитата: "NeO"
Чет фигня у тя тут написана Улыбающийся Поправь.

Сам вижу, чуть поправил, и еще в архиве нужно в одном файле исправить. А то когда делал архив, чуть накосячил.

Надо заменить в squid.conf

cache_peer localhost       parent    3128  0  proxy-only no-digest no-query max-conn=32

на

cache_peer 127.0.0.1       parent    8080  0  proxy-only no-digest no-query max-conn=32

И еще в proxy.pac следует заменить 127.0.0.1:8080 на 127.0.0.1:3128


В общем эта информация не для новичков. Если Вы не поняли, что и как, то squid не для вас.
Записан
biruk
Гость
« Ответ #49 : 24 Ноября 2007, 20:49:12 »

Для IE нужно указать следующее - сценарий автоматической настройки и путь до proxy.pac для диска c:\

file://c:\proxy.pac
Записан
biruk
Гость
« Ответ #50 : 16 Декабря 2007, 18:08:03 »

Цитата: "Zilon"
Цитата: "Zilon"
Отличная идея.

Только неосуществимая, т.к. требует поддержки TTH со стороны веб-серверов.


В общем на работе сворганил распределенный проксик. Все сделано на squid.

Алгоритм работы таков. Есть локальная сеть, в ней машины под NT и один серверок под FreeBSD.
На каждой стоит squid.
У всех машин отношения sibling (одноранговые).
На локальных машинах запущен toonel.
toonel указан в качестве parent для squid на данной машине.

Еще один parent - squid На FreeBSD.

Обслуживать на внешку запрос из локальной сети на squid локальной машины запрещено. т.е. squid на локальной машине обслуживает только запросы с локальной машины, а чужой запрос тоже обслужит, только во внешку не полезет, а просто глянет в своем кеше. Что и требовалось сделать. При этом весь трафик идет через toonel. Экономим как за счет распред кеша, так и за счет toonel.

Все это дело прикрыто NAT, так что ожидать, что в кеш влезет чужак не приходится.

Т.к. сделано для юрлица, то и внутренние адреса на 195 завернуты через toonel.

О минусах.

Запрос обрабатывается секунд 10.

О плюсах.

Если в кеше, то мгновенно.
Записан
biruk
Гость
« Ответ #51 : 21 Декабря 2007, 00:34:58 »

Для тех кто не ищет легких путей.

Продолжаем экономить.

Используем версию проекта www.rejik.ru под всенародно почитаемую windows.

Запихиваем новые банлисты и опаньки, теперь реклама не для нас.

Для самых жестоких админов - режим все от бесплатной почты до warez-а.

Вот пример конфигурации.

##############################################################
## If you make changes in this file, you must reboot squid  ##
## example:   squid -k reconfigure                          ##
##############################################################  

##############################################################
##                       HELP                               ##
##############################################################
# Globals options:
# ================
#
# error_log filename    # Log file for error and startup messages.
#                       # Comment for turn off
# change_log filename   # Log file of change contest.
#                       # Comment for turn off
#
# make-cache c:/redir3/make-cache # path to make-cache binary
#
# work_ip IP      # Ip adress(network)
# work_ip IP/MASK   # or file with ip for
# work_ip f:/path/file   # who redirector work
#
# allow_ip IP      # Ip adress(network)
# allow_ip IP/MASK   # or file with ip for
# allow_ip f:/path/file # who don't change any contest
#
#
# work_id login      # login or file with logins
# work_id f:/path/file    # for who redirector work
#
# allow_id login   # login or file with logins
# allow_id f:/path/file # for who don't change any contest
#
# allow_urls /path/file # file with urls of don't redirect
#
# raw_change <from> <to># Change <from> to <to> in url
# raw_log aff           # Not write to log changes from raw_change option
#
##############################################################
#
# Sections options:  all parametrs work only for ONE section
# =================
# <NAME>                # Header for section
#
# ban_dir dirname       # Rules for change in this section
# url http://host/file  # url to replace
#         # May use: url http://host/file?var=#URL#&var2=#IP#&i=#IDENT#&m=#METHOD#&sec=#SECTION#
#                       # #URL# #IP# #IDENT# #METHOD# #SECTION# will be change by redirector
#
# work_ip IP      # Ip adress(network)
# work_ip IP/MASK   # or file with ip for
# work_ip f:/path/file   # who section work
#
# allow_ip IP      # Ip adress(network)
# allow_ip IP/MASK   # or file with ip for
# allow_ip f:/path/file # who section not work
#
#
# work_id login      # login or file with logins
# work_id f:/path/file    # for who section work
#
# allow_id login   # login or file with logins
# allow_id f:/path/file # for who secion not work
#
# log off      # Not write to log changes from this section
# reverse      # Reverse result of search in ban dir
#
#############################################################

error_log C:/rejik/redirector.err
change_log c:/rejik/redirector.log
make-cache c:/rejik/make-cache
#allow_urls c:/rejik/banlists/allow_urls

<BANNER>  
ban_dir c:/rejik/banlists/banners
url http://127.0.0.2:3128/squid-internal-static/icons/1x1.gif
log off

<PORNO>  
ban_dir  c:/rejik/banlists/porno
url http://127.0.0.2:3128/squid-internal-static/icons/porno.html
log off

<MP3>  
ban_dir c:/rejik/banlists/mp3
url http://127.0.0.2:3128/squid-internal-static/icons/audio-video.html
log off

<JS>
ban_dir c:/rejik/banlists/js
url http://127.0.0.2:3128/squid-internal-static/icons/js.js
log off

<ICQ>  
ban_dir c:/rejik/banlists/icq
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<PHISHING>  
ban_dir c:/rejik/banlists/phishing
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<CHATS>  
ban_dir c:/rejik/banlists/chats
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<DATING>  
ban_dir c:/rejik/banlists/dating
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<ONLINE-GAMES>  
ban_dir c:/rejik/banlists/online-games
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<SPYWARE>  
ban_dir c:/rejik/banlists/spyware
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<VIRUS-DETECT>  
ban_dir c:/rejik/banlists/virus-detect
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<WEB-PROXY>  
ban_dir c:/rejik/banlists/web-proxy
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

<WEB-MAIL>
ban_dir c:/rejik/banlists/web-mail
url http://127.0.0.2:3128/squid-internal-static/icons/access_denied.html
log off

Если будет интерес, то выложу и squid и rejik и как все это дело настроить.

Специфика такова, что решение учитывает запросы рунета. Т.е. банлисты созданы пользователями рунета, соответственно и эффективность резки рекламы выше. Да и от нечести помогает, если активированы соответствующие правила.
Записан
biruk
Гость
« Ответ #52 : 21 Декабря 2007, 00:41:34 »

Для понимания вышеописанного на запросы типа
http://mail.yandex.ru/
http://www.mail.ru/

получите

ОШИБКА
Запрошенный URL не может быть доставлен
Произошла следующая ошибка:
Доступ запрещен.

Настройка контроля доступа не даёт возможности выполнить Ваш запрос. Пожалуйста, свяжитесь с администратором кэша, если Вы считаете это неправильным.

на запросы типа

http://www.mp3.ru/

ОШИБКА
Запрошенный URL не может быть доставлен
Произошла следующая ошибка:
Доступ запрещен.

Настройка контроля доступа не даёт возможности выполнить Ваш запрос, поскольку Вы запросили страницу, содержащую аудио или видео файлы. Пожалуйста, свяжитесь с администратором кэша, если Вы считаете это неправильным.

на запрос

www.porno.ru

ОШИБКА
Запрошенный URL не может быть доставлен
Произошла следующая ошибка:
Доступ запрещен.

Настройка контроля доступа не даёт возможности выполнить Ваш запрос, поскольку Вы запросили страницу, содержащую порнографические материалы. Пожалуйста, свяжитесь с администратором кэша, если Вы считаете это неправильным.

Для сотрудников ЦТ предложение, организовать прокси с фильтрацией и за может быть небольшую денюжку к абонплате за DSL могли бы предоставлять сервис фильтрации. Многие были бы рады такой слуге.

Для настройки IE и прочих достаточно было бы указать ссылку автонастройки типа http://proxyservice.domolink.lipetsk.ru/proxy.pac

Куча рядовых пользователей была бы довольна.

Ну и в договоре соответственно галку - работа через фильтрующий прокси (или возможность работы).
Записан
biruk
Гость
« Ответ #53 : 25 Декабря 2007, 00:34:40 »

Ответ на вопрос - как правильно прописать proxy.pac
в настройки IE.

Там где в меню IE сервис - свойства обозревателя - подключение - настройка LAN - ставим галку "использовать сценарий автоматической настройки" - далее в строке указываем "file://C:\squid\share\icons\proxy.pac" без кавычек, т.е. file://C:\squid\share\icons\proxy.pac (ну или если proxy.pac лежит просто на диске с: , то укажите file://C:\proxy.pac), заметте как стоят слэши.
Записан
biruk
Гость
« Ответ #54 : 06 Марта 2008, 21:56:45 »

Еще один очень старый рецепт.

В операционной системе происходит преобразование имен в Ip адреса.

За это отвечает подсистема DNS в общем случае.

Обработка происходит в основном по следующему сценарию.

1. Смотрится соответствие IP и имени в файле hosts.
2. Если пункт 1 не дал ответа, то идет обращение к серверу DNS.

Таким образом, если мы хотим блокировать трафик в определенных направлениях, то можно обмануть DNS, а именно прописать ложные соответствия для рекламных, порнушных и прочих нежелательных серверов.

Внесем в файл hosts строки вида

127.0.0.1      000freexxx.com

тогда при обращении к 000freexxx.com системе будет сообщен вместо реального адреса адрес вашего ПК и ничего загружено не будет с данного адреса, ни порнуха, ни трояны, НИЧЕГО.

Вот пример содержимого

127.0.0.1      localhost
127.0.0.1      000freexxx.com
127.0.0.1      039068a.dialer-select.com
127.0.0.1      1.httpads.com
127.0.0.1      1000stars.ru
127.0.0.1      100free.com
127.0.0.1      100free.de
127.0.0.1      100free.nl
127.0.0.1      123adult.com
127.0.0.1      123banners.com
127.0.0.1      123go.com
127.0.0.1      1-2-free.com
127.0.0.1      192.168.112.2O7.net
127.0.0.1      1ca.cqcounter.com
127.0.0.1      1second.com
127.0.0.1      1st-fuss.com
127.0.0.1      247media.com
127.0.0.1      247support.adtech.de
127.0.0.1      24pmad.com
127.0.0.1      2jm.com
127.0.0.1      7search.com
127.0.0.1      8848.net
127.0.0.1      90plan.ovh.net
127.0.0.1      a1.superstats.com
127.0.0.1      a10.suntimes.com
127.0.0.1      a11.suntimes.com
127.0.0.1      a12.suntimes.com
127.0.0.1      a13.suntimes.com
127.0.0.1      a14.suntimes.com
127.0.0.1      a15.suntimes.com
127.0.0.1      a16.suntimes.com
127.0.0.1      a17.suntimes.com
127.0.0.1      a18.suntimes.com
127.0.0.1      a19.suntimes.com
127.0.0.1      a2.suntimes.com
127.0.0.1      a2.superstats.com
127.0.0.1      a20.suntimes.com
127.0.0.1      a21.suntimes.com
127.0.0.1      a22.suntimes.com
127.0.0.1      a23.suntimes.com
127.0.0.1      a24.suntimes.com
127.0.0.1      a25.suntimes.com
127.0.0.1      a26.suntimes.com
127.0.0.1      a27.suntimes.com
127.0.0.1      a28.suntimes.com
127.0.0.1      a29.suntimes.com
127.0.0.1      a3.suntimes.com
127.0.0.1      a30.suntimes.com
127.0.0.1      a31.suntimes.com
127.0.0.1      a32.g.a.yimg.com
127.0.0.1      a32.suntimes.com
127.0.0.1      a33.suntimes.com
127.0.0.1      a34.suntimes.com
127.0.0.1      a35.suntimes.com
127.0.0.1      a36.suntimes.com
127.0.0.1      a37.suntimes.com
127.0.0.1      a38.suntimes.com
127.0.0.1      a39.suntimes.com
127.0.0.1      a4.suntimes.com
127.0.0.1      a40.suntimes.com
127.0.0.1      a41.suntimes.com
127.0.0.1      a42.suntimes.com
127.0.0.1      a43.suntimes.com
127.0.0.1      a44.suntimes.com
127.0.0.1      a45.suntimes.com
127.0.0.1      a46.suntimes.com
127.0.0.1      a47.suntimes.com

обычно файл hosts в ОС WINDOWS расположен в
С:\WINDOWS\system32\drivers\etc\ т.е.
или
С:\WINNT\system32\drivers\etc\hosts

Если есть интерес к этому способу, то выложу полный файл. 5700 адресов для блокировки.

Если у Вас уже есть в папке
С:\WINDOWS\system32\drivers\etc\ файл hosts, то нужно добавить в него строки, а не просто заменить его и затереть старый, т.к. некоторые программы сами вставляют в него строки, в том числе и вида

127.0.0.1      ИНТЕРНЕТ_АДРЕС_ВИДА_WWW_SITE_COM
Записан
Страниц: 1 2 [Все]   Вверх
  Печать  
 
Перейти в:  

Powered by SMF 1.1.16 | SMF © 2006, Simple Machines
Minerva Theme | The Simple Machines Forum Directory