Usenetről röviden

Usenet indexelő otthon

2013. január 25. - StanLee

Az usenetet indexelő oldalak száma nagy, de sok nem publikus, ami meg az, azon nehezen lehet bármit is megtalálni, sokszor annyira leterheltek az oldalak, hogy egy nzb file kikeresése és letöltése perceket vesz igénybe, és tovább tart, mint amennyi idő alatt a gépemre letöltődik.

Adta magát a dolog, hogy indítok egy saját indexelő oldalt, hogy ne kelljen máshová mennem.


A technikai részletekbe nem akarok belemenni, hogy milyen vasra tettem fel magát a portált. Tejesen privát, értsd ez alatt, hogy a lakásba bekötött UPC előfizetésemről indexelek. Semmi sincs megosztva, tehát csak én töltöm le róla azt a pár nzb-t, amire szükségem van. Persze bárki kérdezheti, hogy miért van, ha nem használja rajtam kívül senki más? Mindenkinek van hobbija, nekem az usenet, ill. a használata, esetleg indexelése, terjeszteni az igét róla.

Pár érdekesség az első közel egy hónapos üzemelésből:

  • a napi release számot nem tudom pontosan, de nagyon sok. Mivel még most is rakok hozzá csoportokat (group), így sokszor a pár tíz napos, vagy egy éves visszaindexelés miatt sokszor több ezer release jön a frissekhez hozzá. Pr0n anyagból van az egyik legtöbb poszt napi szinten, az a.b.erotica kb. stabil 300 releassel. Zenéből relatíve jó a felhozatal az a.b.inner-sanctum csoportban, 200-250 release/nap. Egyik nagy meglepetés csoportom az anime rajongóknak lehet jó hír, egy teljes évre visszaindexeltem, és majd 21000 releassel egész szerethető mennyiséget adott ki. Ebook-ból is vannak jó csoportok, mivel engem a német nyelvű dolgok jobban érdekelnek, egy ilyen csoportot is komplett visszaindexeltem, és 5000 releassel szépen teljesített. A másik csoport, amit nagy élvezettel indexeltem, lossless audio, egy év, 15000 release.
  • Adatforgalom: napi kb. 20 Gbyte jelen pillanatban, ami csak a fejlécek letöltésére megy el.
  • Az adatbázis mérete kb. 700 Mbyte.
  • Az adatbázisba minden fejléc bekerül addig, amíg nem lesz feldolgozva. Egy frissítés akár 2-3 Gbyttal is megnövelheti a méretet.
  • A visszaindexelés igen veszélyes. Tegnap 20 napot indexeltem vissza az a.b.cores csoportból, 15000 új release került be az adatbázisba és 30 Gbájttal nőtt a letöltött adatmennyiség. Mindezzel alig akar a gép 15 óra alatt végezni.

Hogy mi lesz ebből? Még nem tudom, ha lenne itthon nagyobb érdeklődés az usenet iránt, valószínűleg kiraknám az oldalt, hogy legyen egy magyar nyelvű is.

Frissítés 1:

  • az a.b.mom csoportot egy évre visszamenőleg indexeltem, 75400 release.
  • az a.b.inner-sanctum szintén egy év indexelve, 85500 release.
  • következő 1 éves indexelésre vár az a.b.teevee, mivel most csak 160 nap van indexelve, 31900 relanza.
  • ha nem jön közbe semmi, akkor a második nagyobb csoport, az a.b.erotica indexelése lesz a listán - most 200 nap és 57000 release.

A bejegyzés trackback címe:

https://usenetuser.blog.hu/api/trackback/id/tr355043212

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Firshee 2013.06.22. 22:48:03

Hello, végigolvastam a blogot, örülök hogy találtam valaki magyart aki szintén használja a usenetet. Tényleg nem valami népszerű nálunk, szerencsére nem kell népszerűnek lennie hogy működjön :) Még csak most kezdtem használni, de nagyon tetszik. Feltérképeztem az igényesebb nbz siteokat, hihetetlen a választék a torrenthez képest. Az automatizált letöltés meg mégjobb, a sorikhoz és filmekez. Arra jöttem rá, hogy akkor a legjobb ha tudod mit akarsz, felfedezni jó dolgokat nehéz useneten.

StanLee · https://newsroll.net 2013.06.30. 13:54:31

@Firshee: Esetleg megkérdezhetem, hogy melyik szolgáltatónál vagy és mennyit vagy hajlandó havidíjként kifizetni?

Gondolkozom egy egyszerűbb isuck szolgáltatáson. Az én letöltési szokásaim kb. 30-60 Gbyte körül vannak. Ahogy itt is írtam, havi 700 Gbyte-ig nem szólt a szolgáltatóm az adatforgalom miatt. Az isuck-kal valamivel többért de sok felhasználó között lehetne megosztani egy előfizetést, igaz nincs benne posztolási lehetőség, de nem is arra akarja az ember használni. Valamint az isuck-nál nincs korlátozás a letöltési szálakban, tehát a megosztás is egyszerűbb lenne.

Firshee 2013.06.30. 14:21:32

Nem tudom mi az az isuck :) Több szolgáltatóm van, talaltam egy képet a usenet server clusterekröl es igyekeztem majdnem minden szűmottevő clusterböl valasztani egyet. kepfeltoltes.hu/130630/myusenetservers_www.kepfeltoltes.hu_.jpg Elöször supernews, de azon sok dolgot leszednek DMCA-val mert amerikai. De megtalaltam az Eweka-t ami holland és jó, igy a masikat nem fizetem tovabb. 'Fill'-nek pedig ott a Blocknews és a Tweaknews (még free trial). Egyelőre csak ilyen 5GB csomag, nagyon ritkán nyul hozzajuk a sabnzbd mert Ewekan eddig minden fenn volt. XS Usenetnek van egy lassu ingyenes csomagja, azt is jó, miértne alapon. Amit rendszeresen fizetnék érte havonta az a $10 körüli + a block accountok de az minimális.

Eweka osztható, nekem elég 50Mbites csomag mert csak 30as a netem és a 8ból 5 connectionnal is max-al jön (50/8*5/8*1024 = 4000KB/sec, cFos szerint 3.9MB/s).

Nzb siteok közül nekem az oznzb és a smackdownonyou jön be leginkabb, de ott van movieseeker, tvseeker, nzbx. Forumok közül nzbcave és binaryinvasion, nagyon jok.

StanLee · https://newsroll.net 2013.07.01. 19:11:02

@Firshee: Igen, elég furcsa neve van, de szerintem lejön belőle, hogy mit is akar takarni :-). a giganews-nak van isuck-feed-je. Ennél a típusú feed-nél van arra lehetőség, hogy restrikció nélkül lehessen megosztani az előfizetést több felhasználó között, de ugyanazon a gépen/ip címen. Nem kell hozzá infrastruktúrát kiépíteni, de nem is fognak lekapcsolni, mert mondjuk ugyanazzal a géppel már 20-adik alkalommal tölti le az előfizető ugyanazt a posztot, és vélelmezhető, hogy egy IP cím alatt egy előfizetést többen használnak.

Furcsa, hogy a supernews-ra azt írod, hogy sok minden nem található meg rajta, én csak azt használom, többnyire a nagyon régi dolgoknál vettem eddig észre, hogy nincs meg minden poszt teljesen, de azok már 1000 nap felett vannak. az eweka.nl az a highwind media usenetét adja tovább, ami egy amerikai cég. A DMCA sajnos mind a globális (giganews, highwind, astra) és a holland szolgáltatókat is eléri, csak van akit hamarabb, van akit később. Az astra pl automatizálta a törlést, onnan 30 percen belül minden lekerül. A hollandokban ami nem tetszik, hogy 880 napos retention-nel vannak, míg a giganews és a highwind ca. 1780 nappal azért mégiscsak többet tud adni. De ha már az eweka ennyire bejött, megpróbálnád légyszíves ezt a klipet letölteni tőlük, hogy ott teljesen megvan-e: nzbcache.info/nzb/02d7eb5fe3360fb6243b3a0007d1247369483724.nzb.gz Köszönöm!

Firshee 2013.07.02. 21:06:58

Dejó hogy beirtam a kommentet és elveszett, nem küldte be WTF.

DMCA az egy amerikai törveny, EUban es mashol csak lassak és körülmenyesebb alternativai vannak. Ha egy cegnek van köze amerikahoz akkor viszont valóban erinti, de ugy tudom Ewekanak nincs.

Amit linkeltel, kellemes klip, Supernewsröl és Ewekarol is vegigjön gond nelkül. Mig super 12 connectionsal se nagyon jön maxon, Ewekan kapkodom a fejem es mar lennt is van :) Le is mondom a masikat.

Megkaptam a Tweaknews offert ami ilyen: kepfeltoltes.hu/130702/5LlK6Dr_www.kepfeltoltes.hu_.png csak hagyni kell lejárni a trialt. A 250GB block örök idökig elégnek bizonyul.

Astráról hallottam nagyon rossz. Láttam valami hollandot 1100+ retentionnal, de Ewekanak 1778 most.

StanLee · https://newsroll.net 2013.07.02. 23:02:12

@Firshee: Köszi a választ. Most valószínűleg kipróbálom ezt az eweka-t, mert felkeltetted az érdeklődésem. A Tweaknews ajánlata blockaccountra nagyon jó, annyit két-három hónap alatt nem töltök le...

Firshee 2013.07.02. 23:41:11

Még túlzás is, tekintettel arra, hogy eddig a blocknewsrol is csak 130 megát használtam el és gyanítom, hogy az is csak a teszt volt még az elején mikor hozzáadtam. Nyugodt szivvel ajanlom az Ewekat :) Ez is hasznos lehet: www.ngprovider.com/euro-based-usenet-providers.php

StanLee · https://newsroll.net 2013.07.03. 14:19:36

Amikor írtad, hogy mind a supernews-ről és az ewekáról is lejött az általam belinkelt klipp, kipróbáltam a supernews-on az európai szervereken nem volt teljes, míg az amerikai szervereikről meg le tudtam tölteni. Érdekes. Az európai szerverek persze gyorsabbak voltak, mint az amerikai.

Firshee 2013.07.05. 01:55:39

En azt nem ertem hogy miert van nagyobb NZB siteok között különbség bizonyos találatokban amikor egy adott cucc 10-15 órája fennt van és a groupot minden NZB site indexeli meghozza jo sürün. Mégis van aminél órák multán sincs ott, másikon meg igen. Illetve találtam olyan dolgot is ami csak torrenten található meg (sorozat epizód, nagyon új, híres, full hd). Azt hittem hogy public számára elérhetően usenetre kerülnek fel először a releasek, nem torrentre.

StanLee · https://newsroll.net 2013.07.13. 13:02:01

@Firshee: Attól függ, hogy milyen indexelő szolgáltatás fut az oldalon, ill. milyen szabályok szerint készíti az indexelő a releaseket.

A releaseket a posztok headerjéből generálja a program. Ha egy összefüggő pozstsorozat mondjuk 40 posztból áll, az indexelőnek megadhatod, hogy ha a posztok egy meghatározott százalékát megtalálta, akkor készíthet belőlük releaset. Én 90%-ot adtam meg, mert akkor már nagy valószínűséggel letölthető a teljes relese és helyre is állítható a benne lévő anyag. A másik, hogy a relese készítésnek vannak formai követelményei, ha a headerben ez nincs meg, akkor a poszt nem jelenik meg az indexelő oldalon, annak ellenére, hogy az usenet szolgáltatónál megvan. Pl. az angol nyelvű oldalak az idegen nyelvű releaseket alapból törlik. Lehet készíteni blacklist-et is, ha a release vagy a poszt a blacklisten lévő kifejezést tartalmazza, a relese nem készül el, nem kerül be az indexelő adatbázisába. Lehet minimum fileszámot is megadni, ez azt jelenti, hogy ha a relese kevesebb, mint x filet tartalmaz, nem kerül indexelésre, ugyanígy minimum release méretet is lehet megadni. További limitáló tényező, hogy mennyi group-ot indexel az adott oldal, kb. 50-60 grouppal a nagyobb részét lefeded a releaseknek, de ugye majd 100 000 group van, így sok minden kimaradhat.

A posztolás nem egyszerű, sok munka van vele, és valószínűleg ezért van az, hogy néha csak egy-két release-t posztolnak, nem pedig az összes létező verziót.

Firshee 2013.07.20. 00:39:54

@StanLee: Köszi a magyarázatot :)

Firshee 2015.09.29. 13:58:46

Hello, igy 2 év távlatából újra :) Annyi változott hogy azóta 500/20-as netem lett így azt vadászom hogy a lehetőségekhez mérted melyik kombináció nyújtaná a leggyorsabb letöltést (60MB/s lenne a cél :D). Csak akkor tud felpörögni 40-50MB/s környékére ha a block accountokat is normal szerverkent adom hozzá. Alapból 20-30MB/s pl napközben.

Main providerek: Eweka (nagyon jó alap), XSnews (jó dealek és speed), Newsoo (új különlegesség)
Block: blocknews (alap block), tweaknews (legjobb block), newsdemon, usebits

Utlsó 2 block redundáns mert olyan groupokból vannak amiből már van main providerem, de erre későn jöttem rá.

Nappal speedtesten nem hozza a net a maxot (300-400mbit), de éjszaka igen (500+) gondolom a forgalom és a hálózatok lehasználtsága miatt. Valószínüleg a nemzetközi routing miatt azért is lassabb, mint magyar szolgáltató szerverére menő speedtest.

Nem tudom mivel egészíthetném ki, ami adna némi speed bonust, giganews resellere mint supernews akikkel legelőször próbálkoztam? vagy astraweb?.. Több holland előfizetéssel már nem lesz gyorsabb úgy érzem.

Usenetbucketet próbáltam de refundoltattam mert az xsnews resellere és főleg úgy hogy már van xsnews account olcsóbban, így nem nyújt semmi extrát.

StanLee · https://newsroll.net 2015.09.30. 16:27:52

@Firshee: Szia! A maximumot nem hiszem, hogy el fogod tudni érni bármelyikkel is, de én próbálkoznék a supernews-zal vagy a www.newsdemon.com/ ez a ketto olcsobb. A hollandok csak maximum 100 mbit-ig mennek el, az eweka és társai sokszor már valahol 50 mbit körül korlátoznak. Az SSL-News meg ad olyan csomagot, ami egyedi elofizetoknek 150 Mbit-ig ad hozzáférést, de árban akkor már inkább a newsdemon.

A másik limitáló tényező, az az, hogy a digi-nek nem tudom mennyi a külföldi sávszélessége. Lehet, hogy főleg napközben nincs is nekik elég sávszélességük. Amúgy talán éjfél és reggel 6 között az európai szerverek kevésbé túlterheltek, érdemes lenne akkor is mérni egy sebességet supernews vagy newsdemon előfizetéssel.

Amúgy meg örülök, hogy még mindig használod és tetszik az usenet. Nekem most sjanos nincs már rá sok időm, még tévézni se...

Firshee 2015.09.30. 19:30:46

@StanLee: Hát egyszem szolgáltatóval biztos nem, de többet kombinálva van rá esély. Ja megnézem ezeket majd éjjel. Eweka 50/100 valóban, de a többinél (XSnews 800mbit, usenetbucket 400mbit van kiirva theoretical maxnak) csak a routing szab határt. UPC a szolgáltató nem digi, de a külföldi sávszél érdekes kérdés. Mitől nincs rá időd?

StanLee · https://newsroll.net 2015.10.05. 16:07:33

@Firshee: Szia! Munka, írom a doktorit + család. Lassan arra sincs időm(nk), hogy esténként egy sorozatepizódot megnézzünk.

A UPC-nek jó a nemzetközi kapcsolata, javasom, hogy este éjfél után próbálkozz. A UPC nemzetközi hálózata, az aorta napközben és leginkább a kora esti órákban túlterhelt. Azt én is észrevettem, amikor még Bp-en laktam, hogy éjfél körül érezhetően meggyorsult minden. Most egy 10 Mbit-es DSL vonalam van, ezt nem nagy kunszt kihajtani. Amikor 120 mbit-es vonalunk volt, ott kijott a maximum a supernews-zal, igaz az csak negyede annak, amit te akarsz kipróbálni.

Firshee 2015.10.06. 11:44:35

Hát ez van, változnak az idők. Időnként nosztalgiázom amikor több időm volt ilyesmire. Na de rászántam egy-két órát mostan..

Éjjel 2kor, nagy de mindenhol meglevő file-al, szép sebességeket értem el, newsdemon önmagában 45 MB/s, minden együtt 54MB/s. Nagyon jól látszik a sebesség grafikonokon hogy melyiket limiteli az USP és melyik van ugyanabban a groupban mint a másik (usebits és xsnews ugyanolyan). Valószinüleg az Eweka-t lecserélem Newsdemonra. Illetve kipróbálom valamikor a Tweaknews unlimited csomagjat, mert jo minösegünek tünik a kapcsolat. Néhány speed test screenshot: imgur.com/a/P0M0U hátha érdekesnek találod.

Rotterdami speedtest.net: www.speedtest.net/result/4707822901.png szóval a nemzetközi kapcsolat az jó.

Milu 2017.11.29. 21:41:17

Sziasztok, valaki használja aktívan usenetet? Magyar indexelőt keresek magyar tartalmak miatt. Van ötlet?
Thx!
______________________
Eweka+nzbfinder+synology+Sonarr+Radarr+Sabnzbd+Jackett+Plex