Căutare în lume: căutare, extragere de text, date mari

După ce ați explorat, analizat și prezentat o rețea de bloguri politice, este timpul să distrugeți modul în care se potrivește o construcție obișnuită LEGO. Dar cât de rezistentă este structura noastră? Se dezintegrează dintr-o lovitură bine țintită sau trebuie să demontăm bateriile cu ajutorul dinților și unghiilor noastre? Ce ar trebui să facă un spiriduș rău dacă nu-i place faptul că putem găsi conexiuni și căi între pagini reprezentând puncte de vedere diferite? În postarea noastră, comparăm două strategii de atacare a rețelei.

Pentru a bombarda rețeaua noastră de 747 de bloguri și site-uri de știri cu 1195 de conexiuni, am implementat două strategii bazate pe un articol de Albert Réka, Hawoong Jeong și Albert László Barabási. Prima strategie urmează un model de eșecuri aleatorii. Deoarece o eroare apare aleatoriu, selectăm aleatoriu un site web și îl ștergem împreună cu toate linkurile sale. Apoi vine pagina următoare, ștergem și așa mai departe. Cu toate acestea, urmând a doua strategie, nu lăsăm distrugerea la voia întâmplării, ci căutăm punctele cu adevărat dureroase ale rețelei și le atacăm. Spre deosebire de articolul lui Barabási, nu am eliminat paginile cu cel mai mare număr de link-uri (cele mai multe link-uri), ci cele cu cel mai mare PageRank. (Am încercat acest lucru în avans, iar atacul PageRank s-a dovedit a fi o masă mult mai eficientă, dar oarecum mai eficientă, distructivă.) Putem continua distrugerea până când toate paginile se vor epuiza, dar din moment ce suntem pe punctul de a supraviețui înclinației noastre distructive, suntem bucuroși că putem demonta rețeaua distrugând mai puține pagini.

Și care este strategia câștigătoare, atacul aleatoriu sau PageRank, dezvăluie următoarele două videoclipuri:

În ambele videoclipuri, am exclus 100 de pagini conform ambelor strategii. Probabil că am ghicit că, dacă distrugem cele mai importante pagini în ceea ce privește PageRank, rețeaua va suferi daune grave și se va destrăma rapid. Cu toate acestea, poate fi o surpriză faptul că atacurile aleatorii nu bifează rețeaua și nu se întâmplă nimic cu structura sa.

După cum am citit în articolul lui Barabási, acest lucru se datorează faptului că rețeaua studiată, la fel ca majoritatea rețelelor reale, este independentă de scară, deci există o mulțime de site-uri web în rețea care au puține link-uri și doar câteva pagini care sunt foarte mult. Acesta este motivul pentru care, dacă atacăm aleatoriu, suntem mult mai predispuși să prindem o pagină care are puține linkuri și nu are nicio semnificație specială pentru a o exclude din structura rețelei. În timp ce atacați cu PageRank distruge exact paginile care sunt centrale în structura graficului.

Acest fenomen este ilustrat și în figura următoare, doar în ceea ce privește o altă proprietate a rețelei. Figura arată cum se modifică lungimea medie a căii într-o rețea ca urmare a atacurilor aleatorii și PageRank. În rețeaua originală, aprox. Lungimea medie a traseului a fost de 3,26, ceea ce înseamnă că am ajuns de la o parte la alta pe aproximativ trei laturi în medie. Ca urmare a atacului PageRank, lungimea medie a căii în rețeaua în scădere începe să crească aproape imediat, indicând faptul că linkeri importanți au fost eliminați. Ștergerea unei zecimi din pagini va face ca rețeaua să se destrame și lungimea medie a căii să scadă. Cu toate acestea, atacurile aleatorii nu au prea mult efect asupra lungimii medii a căii, trebuie să ștergem și ¾ paginile pentru ca rețeaua să simtă atacul și să înceapă să se destrame.

Deci, dacă avem o rețea fără scară și dorim să o distrugem, cel mai bun lucru pe care îl putem face este să eliminăm cele mai importante elemente din punct de vedere structural. Importanța poate fi judecată în funcție de grad, PageRank, intermediar sau altă măsură simpatică a centralității.