Развитие интернета и его широкое распространение по всему миру позволило обмениваться различной информацией с достаточно большой скоростью на огромном расстоянии. Среди многих традиционных средств обмена информацией, все большую популярность приобретают так называемые P2P сети. Что же они собой представляют?

Само понятие P2P (в переводе: «равный равному») подразумевает непосредственный обмен информацией между равноправными участниками. За сетями, относящимися к этому протоколу, закрепились другие названия: пиринговый, одноранговый.

Отличие пиринговых сетей от файлообменных заключается, прежде всего, в способе передачи информации и иерархии сети. В случае традиционных обменных сетей, к которым мы получаем доступ, заходя на веб-сайт, мы имеем дело с конкретным сервером, на котором хранится интересующая нас информация. Сервер хранит эти данные и передает нужный файл каждому клиенту, который его запросил, целиком, ограничивая максимальную скорость загрузки возможностями своей сети. Соответственно, при удалении файла с сервера, ни один из клиентов не сможет получить его.

В пиринговых сетях все устроено иначе. В них каждый пользователь может выступать как в роли сервера, так и в роли клиента, скачивая и получая данные соответственно. Вся информация хранится на компьютерах пользователей и при установленном разрешении может быть доступна для других клиентов. Один и тот же файл может быть доступен с различных источников, скачивание производится фрагментами, а не целыми частями. Скорость передачи, соответственно тем быстрее, чем больше различных источников делятся с клиентом нужной информацией.

Современные гибридные P2P сети используют сервер не для хранения информации, а для распределения работы сети и объединения клиентов. Большую известность получили такие пиринговые протоколы BitTorrent, eDonkey и Direct Connect.

Протокол BitTorrent является наиболее распространенным способом передачи больших объемов информации. Он позволяет, при наличии специальной программы, запрашивать необходимый файл и скачивать его у сотен и тысяч других клиентов, и в то же время делиться им с другими участниками. Для того чтобы участники сети могли обнаружить и подключиться друг к другу, организуется специальный сервер, называемый торрент-трекером, на котором хранятся идентификаторы файлов, адреса клиентов, а также сайт с информацией о хранящихся данных, с обсуждениями пользователей.

Наиболее популярными BitTorrent клиентами выступают: Deluge, uTorrent, Vuze, Transmission, BitComet, Shareaza и ряд других. Для сетей Direct Connect предназначены клиенты: StrongDC++, FlylinkDC++, ApexDC++.

Таким образом, P2P сети обеспечивают удобный, быстрый и эффективный способ передачи больших объемов данных, привлекая все большее количество участников, предоставляя большие возможности и удобства для обмена информацией.

Привет хабр!
Уже год московский интернет-провайдер замыкающий пятерку крупнейших провайдеров Москвы (по оценкам AC&M-Consulting, ему принадлежит примерно 6% московского рынка ШПД),
зарезает исходящий - upload трафик по протоколу p2p.

Что? Есть? Где?

Суть зарезания:
До конца июля:

• Полная отдача по тарифному плану происходит только ночью, с 3 до 9 утра;
• С 9 утра отдача режется на фиксированном уровне, плавно понижающемся примерно с 300 КБ/с в 9 утра до 100 КБ/с вечером.
• В вечерний час пик, с 20:00 (в выходные - с 18:00), раздача фиксируется и вовсе на уровне ~50 КБ/с, так продолжается до часа ночи;
• С 1 до 3 ночи планка приподнимается обратно до уровня 100–300 КБ/с, но снимается шейпер лишь в 3 часа.

С конца июля:
топик на torrents.ru

Официальная позиция компании:

В связи с активным развитием QWERTY и нарастающими потребностями абонентов в пользовании услуг домашнего интернета, в последнее время наблюдается загрузка магистральных каналов, что может привести к ухудшению качества предоставляемых услуг всем пользователям сети. Выявлено, что основную нагрузку на каналы оказывает исходящий р2р-трафик , рост которого существенно влияет на общее комфортное времяпрепровождение в сети Интернет.
Поскольку основной задачей для нас является поддержка и улучшение качества предоставляемых услуг всем нашим абонентам, мы приоритезируем трафик сети в пиковые часы работы. При этом скорость доступа в Интернет и в локальную сеть для всех абонентов останется без изменений. Надеемся на ваше понимание возникшей ситуации. Нашими инженерами и сотрудниками компании рассматриваются другие пути решения.

топик на форуме QWERTY

По непроверенным данным некоторых источников: в ближайшее время компания не планирует отменять приоритезацию p2p трафика.

Способы решения проблемы:

Самый простой способ: Подключить себе другого провайдера или вторую линию. И забыть про резалку p2p как страшный сон.
Но меня такой выход, не привлекает, так как я доволен QWERTY и не вижу смысла подключать себе вторую линию.

Ну а сейчас я перехожу к самому интересному.

Поднятие VPN

Про бесплатное VPN туннелирование я прочитал здесь, же на хабре. В топике всё написано, от себя добавлю лишь ссылку на настройки (для Windows), VPN от сервиса itshidden .

Замеры проводились на стабильной версии µTorrent 1.8.4, другие закачки были отключены.

Для начала, посмотрим на обычную скорость скачивания и отдачи в сети QWERTY:

Итак, у меня поднято VPN туннелирование , давайте посмотрим на скорость скачивания и отдачи:

Итог:
Скорость отдачи при VPN, действительно возрастает, но вот скорость скачивания сильно падает, поэтому лучше всего включать VPN только для отдачи, после скачивания нужного контента.

µTorrent 2.0 beta c включенным µTP

Про него писали на хабре в релизе 2 версии будет включен по умолчанию протокол µTP.
К радости оборудование QWERTY на данный момент не может зарезать протокол µTP. Но существует другая проблема:
В бета-версиях некорректно работает скачивание, например у меня, на версии 1.8.4 клиент качает со скоростью 800-1000 Кб/c.
В бете версии же скорость скачки не превышает 400-500 Кб/c. При этом с включенным µTP отдача волнообразная, двигается скачками, однако достигает 500-600 Кб/c. Игры с параметром bt.transp_disposition результатов пока не дали.
Надеюсь что в релизной версии 2.0 данный косяк поправят, а оборудование провайдера не сможет зарезать протокол µTP. Стоит заметить, что при массовой миграции абонентов на 2 версию, шейпер не будет так чувствоваться, и возможна перегрузка каналов.

Итог:
Очень многообещающий релиз, тогда зарезание практически не будет ощущаться.
Пользоваться можно, однако придется смирится с заниженной скоростью скачивания, хотя все таки надеюсь что в релизной версии эту проблему поправят.

Общие выводы

Выход есть из любой ситуации, было бы желание.

Зарезалку p2p QWERTY можно обойти!

На сегодняшний момент, мне удобнее использовать VPN туннелирование. Оно включается и отключается одним кликом мыши, что удобно.
Если технически QWERTY не найдет выход для зарезания µTP, а релизная версия µTorrent 2.0 выйдет без нынешних косяков, то я откажусь от VPN.
Это будет интересно. Интересно потому, что:
Во-первых, интересен ответ QWERTY, какие меры предпримет провайдер. Я надеюсь я освещу ответ QWERTY нам, торрентщикам.
Во-вторых, возможно µTP позволит обойти шейперы не только у QWERTY, но и у других зарубежных провайдеров. И тогда p2p ждёт рассвет. :)

Зачем интернет-трекеры, когда есть локальный ?

Следующую часть этого топика я хотел бы посвятить моим размышлениям и размышлениям моего друга на тему локального торрент-трекера.

Не секрет что у QWERTY есть свой локальный торрент-трекер . На данный момент там зарегистрировано 15.000 пользователей и создано более 35 000 торрентов. Это новинки, фильмы и прочий контент. Конечно до torrents.ru ему далеко, но для локальной сети трекер достаточно крупный.

Мы с другом cheget подумали и сформулировали несколько плюсов и минусов локального трекера.

Стоит отметить, что:
На локальном трекере не действуют никакие ограничения на отдачу.

Вступление:

Не для кого не секрет что p2p сети в данный момент занимают львиную долю всего сетевого трафика. И в современных условиях практически каждый первый пользователь, который использует услуги провайдера по обеспечению доступа к всемирной паутине, практически каждодневно что-то закачивает либо скачивает по сети p2p (посредством торрент трекеров с помощью торрент клиентов).
Структуру сети любого провайдера в Москве составляет локальная сеть, объединяющая в себе всех конечных пользователей провайдера, и соответственно выход всей этой сети в интернет. Провайдер предоставляет в пользование внутреннюю сеть и доступ в интернет с двумя разными скоростями, естественно внутри сетевая скорость значительно выше скорости трафика внешней (интернет). Поэтому логично сделать популярный сервис p2p на внутри сетевой скорости, однако с доступом к нему только пользователей сети провайдера, с блокировкой доступа внешним пирам. Это большой плюс, так как качать со скоростью 11 мегабит (внутри сетевая) и со скоростью 1 мегабит (внешняя скорость скачки в интернет) при одном и том же тарифе - это огромная разница.

Плюсы:

Итак самый главный плюс локальных трекеров это естественно скорость.

Второе это постоянная доступность пиров (сидеров) на внутри сетевой скорости. Из-за популярности внутри сетевого трекера - всегда найдется человек внутри сети, у кого можно скачать контент по раздаче. Второй плюс - это быстрая стопроцентная высокоскоростная скачка. Внутри сети всегда найдется какое-то количество сидеров, включая непопулярные раздачи. Как пример на трекере Кверти даже на раздачах, которым год и более, всегда есть один, два или три сидера, у которых ты можешь скачать всё с той же внутри сетевой скоростью, то есть очень быстро (скорость практически не зависит от количества сидеров, а зависит от ограничений, которые эти сидеры поставили сами, а так как на любой раздаче всегда есть один-два человека, то велика вероятность что хотя бы один из них раздает по максимальной скорости). Ну и третье это естественно - хорошая как правило поддержка компании (провайдера) трекера. Здесь и возможность размещения на надежных серверах компании, поддержка компанией перспектив развития трекера, защита интересов трекера силами компании.

Еще один плюс это - хорошие перспективы и возможности роста рейтинга из-за очень высокой скорости скачки и отдачи (при урезании трафика значимость этого плюса падает значительно). Ну и последнее - это различные внутри сетевые бонусы, которые очень хорошо позволяют контролировать рейтинг личный. Как пример - бонус сидирования, когда даже просто при включенном клиенте и при низкой отдаче - рейтинг хоть и медленно, но всё равно растет.

Минусы:

Первое и самое главное - не возможность зайти и скачать что-то, находясь вне диапазона айпи адресов провайдера (например с работы, либо с другого места жительства, либо с компьютера, подключенного к сети посредством другого провайдера).

Второе - прямая зависимость качества работы трекера, доступности, от технического состояния внутренней сети, а так же сервера расположения трекера. То есть при какой-то более или менее серьезной аварии у провайдера, трекер может быть недоступен какое-то время, а так же те пиры, которые попадают под диапазон аварии.

Третье и пожалуй самое серьезное, что непосредственно касается основной темы статьи - урезание трафика провайдером. Входящий трафик остается без изменения, а исходящий значительно ниже. Еще один минус - всё же количество аплоадеров и пиров значительно ниже, нежели на трекере внешней сети. Отсюда количество контента разного как правило значительно меньше. Однако этот минус теряет свою значимость в том случае, если трекер считается трекером провайдера официальным, внутри сетевым (если просто локальный частный трекер, то минус этот актуален).

Итог:

При отсутствии урезания p2p трафика компанией, локальные трекеры остаются самыми популярными, удобными и высокоскоростными, и внешние трекеры, не привязанные к внутренней сети провайдера значительно уступают внутренним по этим критериям. В основном это связано со скоростью конечно.
Однако с серьезным урезанием трафика, значимость этого сильно падает. В последнее время популярность получило такое явление как retracker. Однако по всем параметрам и скорости это явление значительно уступает всё же внутри сетевым трекерам, особенно официальным трекерам провайдера. Отсюда поиск способов борьбы с урезанием трафика имеет ключевую роль в поддержке популярности внутри сетевых трекеров. Так как практика и время показывает, что основная критика локальных трекеров в пользу более обширных внешних трекеров построена именно на урезании трафика провайдером.

Эпилог:

Итак, я в своем топике пришел к главному выводу - при условиях жесткого зарезания трафика p2p, самый лучший вариант это пользоваться локальными трекерами внутри сети провайдера. Так как при очень высоких скоростях урезание заметно не так сильно, а так же при бонусах, которые позволяют грамотно контролировать свой рейтинг на трекере. К сожалению внутрисетевых трекеров довольно мало хороших и довольно крупных, именно поэтому я и написал так сказать свое расследование с целью найти удобные способы обхода шейпера для трекеров внешней сети.

Надеюсь мой скромный первый топик кому-то пригодится и будет полезным.

Спасибо за прочтение:)

UPD: Хотел бы перенести эту запись в тематический блог Peer-to-Peer но увы, не хватает кармы.
UPD: 2 Спасибо перенёс. :)

Пару слов о том, что такое P2P и в чем преимущество:
P2P - технология, которая позволяет получить онлайн доступ к устройству через интернет с мобильного или компьютера
P2P работает по уникальному ID коду который есть в устройствах с P2P. При подключении ip камеры или NVR к интернету они связываются с сервером и регистрируются на нем, клиент с мобильным приложением тоже подключается к данному серверу и получает доступ к видео и управлению. Аналогичным способом работает всем известный TeamViewer, когда два ПК связываются между собой через сервер по ID
Преимущество P2P :
Технология P2P не требует проброса портов, не требует настройки DDNS, UPnP, для работы нужен только выход в интернет.
Не имеет значения какой у вас IP адрес "белый", " серый" динамический или статический, WiFi или 3G главное выход в интернет.
У каждого производителя свой P2P сервер и своё приложение для подключения к серверу.
Это говорит о том, что ip камера OMNY не сможет подключиться к P2P серверу Dahua, т.к. не пройдет идентификацию и наоборот.
Аналогичная ситуация с Base и PRO.

Параметры для работы с P2P
1.Самое главное - наличие интернета, ведь как уже сказано выше, камера обращается через интернет к серверу.
2.Безопасность - обязательно смените пароль, не оставляйте admin/admin по умолчанию, ведь тот, кто знает ваш ID сможет смотреть вашу камеру или регистратор без вашего ведома. Существуют и те,кто занимается подбором ID
3.По умолчанию, мобильные приложения используют дополнительный поток для отображения, что в общем то логично, ведь экран смартфона маленький и отображать тяжелый основной поток совершенно не нужно.
Рекомендуемый битрейт для доп.потока это 256-512 Кбит при разрешении CIF,VGA,D1, проверьте ваши настройки потока, т.к зачастую пропускной способности мобильного интернета не хватает, одно дело скачивать что либо, другое непрерывно тянуть поток без задержек и рассыпания картинки. Битрейт напрямую влияет на задержку и отображение картинки.
4.Настройки сети в камере или NVR. Для доступа к P2P не забудьте прописать все параметры, такие как IP адрес, маска подсети, шлюз, и DNS адреса, убедитесь, что с данными параметрами есть выход в интернет. В качестве эксперимента, можете назначить эти параметры вашему компьютеру для проверки. Самый быстрый вариант - установить настройки сети в режим DHCP (при наличии DHCP сервера)
5.Если,на вашем объекте нет интернета , вы не сможете использовать P2P, но можете подключаться локально через Wi-Fi, для этого в мобильном приложении выберите вариант подключения по IP адресу. (не поддерживается приложением Danale)
6.Воспроизведение архива, при подключении через P2P. Как уже было сказано выше, мобильное приложение отображает дополнительный поток, НО! В архив пишется основной поток, который высокого разрешения, это значит, что смартфону потребуется больше усилий и и больше интернет трафика, чтоб выкачивать архив, что может сказываться на долгом отклике, и постоянной подкачке.
Если, вы часто смотрите архив через смартфон, вы можете включить запись дополнительного потока на вашем NVR,а в мобильном приложении выбрать соответствующий параметр - просмотр архива доп.поток, в таком случае, архив просматривать проще и быстрее, но не стоит забывать, что камера которая пишет два потока одновременно, занимает в архиве больше места, соответственно срок хранения уменьшится.
В каких случаях P2P может не работать:

1.Не указаны действующие DNS адреса в сетевых настройках камеры или регистратора. Самая частая ошибка.
Для работы с P2P мы рекомендуем установить сетевые параметры устройства в режим DHCP
2.Низкая скорость интернет соединения, даже если смартфон показывает вам 3G,4G. Попробуйте стабильный Wi-Fi.
3.На сервере могут проводится профработы , обновление и.т.д нужно просто ждать
Не стоит забывать, что сервера находятся заграницей, и возможно, что где-то произошла авария на линии связи.
Как правило, даже самые крупные аварии устраняются максимум за неделю.
Повлиять на скорость проф.работ мы к сожалению не можем.
4.Устройство не поддерживает P2P . Устройства до 2015г не поддерживаются и не будут поддерживаться.
Устройства 2015-2016г поддерживаются частично, в зависимости от текущей версии, уточняйте в технической поддержке.
Некоторые устройства Dahua не поддерживают P2P по задумке производителя, например PTZ камеры, многоквартирные IP домофоны
Это обусловлено безопасностью , многоквартирный домофон не должен иметь выход в интернет а PTZ камеры как правило
ставят на крупные охраняемые объекты, где доступ с мобильного противопоказан.
Обратите внимание, если ваш продукт не поддерживает P2P вы можете подключить его традиционным способом по IP адресу!
5.Несовместимая версия прошивки. Для OMNY прошивки можно найти для Dahua на официальном сайте https://www.dahuasecurity.com/
6.Устройство не проходит идентификацию на P2P сервере. Такое может быть, если серийный номер устройства не соответствует действительности, например выглядит как 8888888888 или отсутствует совсем. В данном случае, обратитесь в техническую поддержку.
7.Неправильное мобильное приложение. Убедитесь, что используете мобильное приложение соответствующее вашему продукту и актуальную его версию.
8.Неверные данные для подключения, перепроверьте логин/пароль, не используйте спец.символы для имени,логина,пароля.

Теперь более подробно об особенностях в подключении каждого из продуктов:

OMNY PRO
IP камеры и видеорегистраторы NVR серии OMNY PRO поддерживают P2P подключение на мобильных платформах iOS и Android.
Устройства после 2016 года поддерживаются в программе для Windows, с подключением через P2P.
Для подключения с мобильного, нужно скачать и установить бесплатное приложение EasyLive
(ранее использовался Smartwatchman, MobileLive но они уже не актуальны)
По есть инструкция на русском языке и другие программы для OMNY
Кратко : Приложением EasyLive сканируйте QR код который находится на WEB странице устройства в превью (снизу значок QR)

QR код содержит в себе идентификатор, в поле логин/пароль введите реальный данные вашего устройства.
Убедитесь, что ваш смартфон и OMNY устройство имеют доступ в интернет, в настройках сети указаны работающие DNS.

OMNY Base
IP камеры серии OMNY Base поддерживают P2P подключение только на мобильных платформах iOS и Android
Для подключения требуется скачать и установить бесплатное приложение Danale
По есть подробная инструкция (англ.яз) и другие программы для OMNY Base
Кратко : Приложением Danale сканируйте QR код который находится в камере на WEB странице (Система/системная информация)

Dahua IP камеры, NVR, HCVR, Intercom


Устройства Dahua поддерживают P2P подключение как на мобильных платформах, так и на компьютере.
Для подключения на мобильном устройстве требуется скачать и установить приложение DMSS
Есть различные версии приложения, DMSS Lite, DMSS plus, DMSS HD
Рекомендуем ставить DMSS Lite. Платная версия plus практически не отличается, версия HD для планшетов, но и Lite тоже с планшетом работает.
По есть подробная информация и другие программы для Dahua
Кратко : В первую очередь P2P нужно включить на устройстве. В зависимости от релиза, вкладка может находится в разных местах, но как правило она находится в настройках сети. Для включения кликните Enable. Успешное соединение это статус online или connect success
Приложением DMSS сканируйте QR код.
Для работы на компьютере: Установите программу на вкладке добавления устройств нужно выбрать тип P2P и вручную ввести серийный номер, который находится в том же месте где QR код.

С развитием интернета мы получили возможность обмениваться разного рода информацией если не мгновенно, то очень быстро. Существует масса способов обменяться файлами с другим пользователем интернета, но один из самых популярных - это P2P сети . Что представляют собой файлообменные P2P сети?

P2P – это сокращение от английского выражения “peer-to-peer” , что можно перевести как «равный - равному». Их еще называют одноранговыми, децентрализованными или пиринговыми сетями.

В чем отличие P2P сети от обычного файлообменника? В случае с файлообменником все данные хранятся на сервере, с которого пользователи могут их скачать . Если файл будет удален с сервера или сервер станет по какой-то причине недоступен, доступа к этой информации у пользователей, ясное дело, больше не будет. К тому же, скорость скачивания ограничена пропускной способностью сервера и нагрузкой на него.

В P2P сети такого сервера нет. Необходимые файлы хранятся на компьютерах пользователей в «расшаренных» папках (папках, открытых для общего доступа). И каждый компьютер может выступать как в роли клиента (скачивать информацию), так и в роли сервера (отдавать информацию) . Файл при этот может качаться фрагментами сразу из нескольких источников. Это позволяет повысить скорость скачивания.

Сейчас чаще всего используются так называемые гибридные (частично децентрализованные) P2P сети . В таких сетях сервер присутствует, но он используется не для хранения информации, а для координации работы сети. Такая сеть объединяет в себе скорость чистой P2P-сети и надежность централизованной сети. На данный момент два самых популярных пиринговых сетевых протокола, используемых в P2P сетях - это BitTorrent и Direct Connect .

P2P сети: протокол BitTorrent

При обмене файлами через протокол BitTorrent скачиваемые файлы передаются частями. Скачивая файл при помощи специальной программы (), вы в то же время отдаете его другим клиентам по принципу «ты мне - я тебе».

Для координации обмена файлами существует специализированный сервер - торрент-трекер . Он нужен для того, чтобы пиры (участники сети) могли найти друг друга. Обычно на трекере хранятся хеш-суммы (идентификаторы файлов), IP-адреса и входящие порты клиентов. Но часто торрент-трекер представляет собой еще и сайт с информацией о распространяемых файлах (описания, метаданные и т.п.) и количестве пиров, статистикой закачек.

На некоторых трекерах ради соблюдения основного принципа P2P сети («ты мне - я тебе») существует система рейтинга . Учитывается соотношение информации, скачанной и отданной пользователем. Если количество скачанной информации значительно превышает количество отданной, рейтинг будет низким, и возможность скачивания для пользователя будет ограничена.

Наиболее популярные торрент-клиенты - это официальный клиент BitTorrent, uTorrent, BitComet, KTorrent, Deluge, Transmission, Vuze (Azureus) и др.

P2P сети: протокол Direct Connect

Протокол Direct Connect чаще используется в локальных сетях . Для скачивания в DC сети вам нужно установить специальный клиент и подключиться к одному или нескольким DC-хабам. В этой P2P сети хаб выполняет роль сервера. Подключившись к нему, вы увидите список подключенных пользователей, сможете осуществлять поиск расшаренных файлов и, естественно, скачивать их.

Поиск файлов осуществляется по , поэтому даже если файл переименован, это никак не влияет на его закачку (в случае с торрентами переименование файла приводит к тому, что система перестает его «видеть»). Файлы, опять-таки, могут качаться сразу из нескольких источников.

Кроме этого, DC хабы обычно имеют общий чат и возможность обмена мгновенными личными сообщениями , так что DC клиент можно использовать не только для обмена файлами, но и для общения с другими пользователями P2P сети.

Наиболее популярные DC клиенты - это различные потомки клиента DC++, в частности, StrongDC++, ApexDC++, FlylinkDC++, GreyLink, EiskaltDC++ и др.

P2P сети - довольно удобный способ обмена файлами. Но, увы, в таких сетях практически невозможно отследить нарушение авторских прав, ведь файлы хранятся у всех и в то же время, по сути, ни у кого. Распространение файлов - исключительно на совести участников P2P сети .