YTS provozuje dva další hlavní servery s 16 jádry, které jim snadno umožňují vyrovnat se s provozem generovaným uživateli webu. Veškerá klíčová infrastruktura je na jednom místě, která umožňuje snadnější údržbu a zálohování. Možná pochopitelně JD nesdílel žádné další informace o interní síti a rozhodně neexistuje žádná mapa označující umístění serveru.

Odhaleno: Tajemství sítě Yify-Torrents

Yify-torrenty, neboli YTS, jak je nyní formálně známý, je jedním z nejpopulárnějších torrentských webů na světě. Jak to však zvládne tolik návštěvníků bez kolapsu a jak je vše uspořádáno v zákulisí? TorrentFreak dohnal vývojáře Yify, aby zjistil, co stroj zaškrtne, a my jsme se vrátili s jedinečným nahlédnutím do interního fungování tohoto populárního stahovacího portálu.

Yify (nyní správně nazývaná YTS), která potřebuje malý úvod, je jedním z nejpopulárnějších sdílených webů na světě. Na začátku roku 2014 to byl 5. nejoblíbenější stránka Torrent na světě a podle zbrusu nových čísel, které nám byly včera poskytnuty, v současné době zpracovává přibližně 10 milionů návštěv za měsíc.

V rozhovoru s TF vývojář stránek JDuncanator říká, že od rebrandingu minulého měsíce tým nejen pracuje na nových funkcích, ale také se ujistí, že stávající procesy jsou doladěny. Dev říká, že uživatelský zážitek na YTS je Paramount.

Nenuťte uživatelé čekat

„Studie ukazují, že 100mms je, jak dlouho máte, aby se uživatel cítil, jako by byl úkol okamžitý. Jednou sekundu je, jak dlouho máte, aby stav toku uživatele zůstal nepřetržitý (i když zpoždění bude stále patrné). Deset sekund je, jak dlouho máte, než uživatel zcela ztratí zájem a bude chtít, aby se úkol dokončil, “vysvětluje JD.

„To je sladké místo 100-1000ms, na co se většina webových vývojářů zaměřuje, ale co je ještě překvapivější, je to, že to ve skutečnosti jen asi 5% dosáhne. Průměrný návštěvník stráví mezi 30 sekundami až 4 minutami na YTS, takže každé jednotlivé zatížení stránky tvoří velkou část jejich celkového uživatelského prostředí. To je to, na co jsme se chtěli soustředit na zamíření do roku 2014.“

Google-power

Jedním z klíčových upgradu k dosažení tohoto cíle je zahrnutí zbrusu nového protokolu s názvem Spdy (vyslovený Spee-dy), protokolu vyvinutého Google, určený k posunu webového obsahu.

„Nový protokol společnosti Google umožňuje extrémně nízkou latenci zpáteční dobu a kompresi záhlaví. Všechny přední (aktuální) prohlížeče podporují SPDY 3 a tak nyní naše servery umožňují vysokorychlostní přístup a připojení ke všem našim webům, “odhaluje JD.

I když většina návštěvníků webu nebude mít ponětí, že se věci změnily, JD říká, že v zákulisí to rozhodně není. Síťová infrastruktura prošla významná vylepšení a zvyšovala nejen rychlost, ale i zabezpečení a celkový zážitek.

Bezpečnostní

“S nejnovějšími zjeveními NSA as celkovým” zabezpečením “paranoia procházejícím střechou jsme se rozhodli revidovat naše současné zabezpečení, abychom zjistili, zda bychom mohli udělat něco lepšího – ukázalo se, že bychom mohli,” říká JD, “říká JD.

“Měli jsme 2048bitové klíče RSA.”. To samy o sobě nepředstavují bezpečnostní riziko, ale pokud chceme jít za ničím, co zprávy NSA ukazují, mohli by mít technologii, která by je praskala efektivněji než veřejnost. Abychom byli na bezpečné straně, rozhodli jsme se zdvojnásobit velikost klíče na 4096-bitovou RSA, což účinně vynásobilo množství času na prasknutí našich šifrovacích klíčů o 2³².“

A pak, navzdory našim požadavkům na udržení věcí docela jednoduché, JD se prostě nemohl zadržet, podrobně popisuje ochranu proti útoku na webu, o OCSP povolení povolení a implementaci HSTS. Netřeba dodávat, že je nadšený webem a udržuje jej jemně vyladěn – naštěstí mu nevadí, pokud tito poslouchání potřebují zkratky Google každé dvě minuty.

“Zde můžete vidět zprávu o našem SSL.”. Skóreme A+ a jsme v top 3%, něco, co by ani Google nemohl dosáhnout, “dodává hrdě.

Yts-SSL

Nastavení sítě – na okraji

YTS provozuje dvě úrovně sítě – Edge a Internal. Edge Network je řadou serverů s otevřeným zdrojovým vysoce výkonným serverem HTTP a softwaru pro reverzní proxy. Tyto servery jsou tím, s kým se uživatelé při návštěvě webu připojují. Servery Edge komunikují se servery na vnitřní síti a udržují ty druhé skryté před veřejným okem.

„Myšlenka těchto reverzních zástupců je, že jednoduše předávají webové požadavky na naši„ skrytou “síť a poté vám předají odpověď zpět. To znamená, že vše, co kdy vidíte, jsou IP adresy našich levných webových serverů a nikdy naše interní sítě. To nám umožňuje mít velké množství vysokokapacitních připojení, abychom pohltili všechny „zlobivé“ nebo útočné pakety, které se snaží sundat náš web a umožňuje nám přiblížit náš statický obsah (obrázky) blíže k našim koncovým uživatelům, zdokonalovat dobu načítání stránky a celkovou Uživatelská zkušenost.“

Yts netmap

Síťové proxy „Edge“ YTS, umístění označené modrými čtverci

“Protože čím blíže jste na serveru, tím rychleji chceme, zjevně chceme co nejvíce serverů co nejblíže k co nejvíce zemí.”. V posledních dvou dnech jsme přidali 13 nových edge serverů po celém světě. Až do té doby jsme měli po celé Evropě pouze 9 serverů na okraji, ale chtěli jsme se zaměřit na velké a přiblížit náš obsah k našim uživatelům, abychom získali rychlejší časy načítání. Nyní máme 22 hranných serverů.“

JD říká, že nastavení YTS bylo zpočátku modelováno na Cloudflare, ale nyní má web servery na více místech než Cloudflare.

“S těmito nyní na místě a podáváním obsahu byste měli okamžitě vidět zlepšení ve snímku obrazovky a statické doby načítání obsahu a rychlejší celkové rychlosti zatížení stránky, pokud je okrajovým uzlem reverzní proxy,” poznamenává.

Nastavení sítě – zevnitř

“Naše interní síť je tvořena několika vyhrazenými servery, které jsou umístěny na skrytém místě daleko a nikdy nevidí veřejnou internetovou žádost,” vysvětluje JD. „Za tím je mnoho důvodů od zmírnění problémů s DMCA a nepříjemnosti po DDOS a ochranu útoku.“

YTS provozuje dva další hlavní servery s 16 jádry, které jim snadno umožňují vyrovnat se s provozem generovaným uživateli webu. Veškerá klíčová infrastruktura je na jednom místě, která umožňuje snadnější údržbu a zálohování. Možná pochopitelně JD nesdílel žádné další informace o interní síti a rozhodně neexistuje žádná mapa označující umístění serveru.

Níže uvedený diagram však ukazuje nastavení YTS, přičemž uživatel ve spodní části komunikace s okrajovými servery webu, který zase hovoří s interním nastavením sestávajícím z hlavního webového serveru a vyhrazeného databázového serveru.

NetDiag1

Při rozhovoru s JD je zřejmé, že provozovatelé webu jsou nejen vášniví, ale také požehnáni zdánlivě nekonečnou energií a nadšením. Vylepšené výše uvedené jsou také teprve začátek, přičemž přijde ještě více vylepšení.

„Během několika příštích týdnů budeme hrát s našimi nastaveními DNS, abychom vyzkoušeli a dokonce i naše zatížení mezi servery a snižováním ping. Aktualizace naší infrastruktury DNS nyní znamenají, že všichni uživatelé budou mít IPS pro servery Edge, které jsou jim nejblíže a měly by poskytnout nejnižší možné pingy.

“Vždycky budeme hledat způsoby, jak zlepšit uživatelské zkušenosti, a v příštích několika měsících plánujeme optimalizovat kód webu, abychom se pokusili získat ještě větší rychlost z webu,” uzavírá JD.