RSS News Feed Hack

My friend made this hack, he owns http://www.liquidpro.net. Check him out.
You may contact him at liquidpro@neo.rr.com. Or you can IM him on AIM at LiquidPro10.

An example is shown at http://www.xtreme-forumz.net. Go to the Techno forum under the General category. Then the CNET News sub-forum.

RSS News Feed Hack for vB 3.0.0. As long as vBulletin doesn't change the database structure much, this should be good for the next release also, and those to come.

Allows you to have a live RSS news feed (such as one from Google or CNET) in a forum. The user that posts it will basically be a bot, which *should* only be used for posting the news, but you can even make it for a regular user.

Comments are welcome!

Instructons:
Note: DON'T FORGET TO MAKE A BACKUP OF EACH FILE BEFORE YOU MODIFY IT!

Copy the files to your web server... keep the same directory structure as in the zip file.
Run the rss_install.php file to setup the RSS script.
If you're upgrading run the rss_upgrade.php file to setup the RSS script. Don't forget to remove all previous modifications (you can find them by searching for "LiquidPro")

#### open the /index.php script ####
Find this:

PHP Code:

require_once('./includes/functions_forumlist.php'); 


Add below it:

PHP Code:

require_once('./includes/RSS/rss_update.php'); 


#### open the /forumdisplay.php script ####
Find this:

PHP Code:

require_once('./includes/functions_forumdisplay.php'); 


Add below it:

PHP Code:

require_once('./includes/RSS/rss_update.php'); 


#### open the /admincp/index.php script ####

Find this:

PHP Code:

construct_nav_group("$vbphrase[styles] &amp; $vbphrase[templates]", '<hr />'); 


Add below it:

PHP Code:

// Manage Hacks
// by: Andrew Wickham
// LiquidPro Inc.
//
construct_nav_option('RSS News Feed', 'rss_admin.php', '<br />');
construct_nav_group('Hacks');
//
// End Manage Hacks 


You're done, thanks for installing the hack.

Hack by: Andrew Wickham (http://www.liquidpro.net)
Hack for: Xtreme-Forumz (http://www.xtreme-forumz.net)

[sjau]

Hmmm, I have enabled the bot as well as the RSS-feeds themselves.

I've just checked the current xml file that will be retrieved and it contains a few items that are not being displayed.

The current xml file:

<?xml version="1.0"?>
<rss version="0.92">

<channel>
<title>Google Deutschland</title>
<link>http://news.google.com/news/de/de/nation.html</link>
<description>Google Deutschland, updated every 15 minutes</description>

<item>
<title>K?lnerin ist Deutschlands Sch?nste (K?lnische Rundschau)</title>
<link>http://www.rundschau-online.de/kr/page.jsp?ksArtikel.id=1074875540282&amp;listID=103 8839602120&amp;openMenu=&amp;calledPageId=10390828 45263</link>
<description>RUST / K?LN. Damit habe ich absolut nicht gerechnet! Claudia Hein sagt dies im Oktober, als sie nach ihrer Wahl zur Miss K?ln die Lokalredaktion der K?lnischen Rundschau besucht. Nicht anders ?u?ert sich die 24-J?hrige Mitte Januar: ...</description>
</item>

<item>
<title>Beratervertr?ge der Ministerien im Visier (K?lnische Rundschau)</title>
<link>http://www.rundschau-online.de/kr/page.jsp?ksArtikel.id=1074875540248&amp;listID=103 7966282302&amp;openMenu=&amp;calledPageId=10390828 45263</link>
<description>BERLIN. Nach der Aff?re bei der Bundesagentur f?r Arbeit (BA) und der Entlassung von Beh?rdenchef Florian Gerster sind die gesamten Beratervertr?ge der Bundesregierung in den Blickpunkt ger?ckt. Der Bundesrechnungshof habe die Absicht, die ...</description>
</item>

<item>
<title>Vorsichtige Ann?herung im Streit ?ber das Zuwanderungsgesetz (Reuters Deutschland)</title>
<link>http://www.reuters.de/newsPackageArticle.jhtml?type=politicsNews&amp;sto ryID=449853&amp;section=news</link>
<description>Beide Seiten signalisierten am Wochenende bei Kernstreitpunkten Kompromissbereitschaft. Die Union lie? erkennen, dass sie nicht mehr unter allen Umst?nden darauf beharrt, dass der Anwerbestopp f?r ausl?ndische Arbeitskr?fte generell bestehen bleibt. </description>
</item>

<item>
<title>Eichel rechnet 2004 mit geringerem Staatsdefizit (Reuters Deutschland)</title>
<link>http://www.reuters.de/newsPackageArticle.jhtml?type=economicsNews&amp;st oryID=449780&amp;section=news</link>
<description>Berlin (Reuters) - Bundesfinanzminister Hans Eichel (SPD) rechnet im laufenden Jahr mit einem geringeren Staatsdefizit als bislang angenommen. </description>
</item>

<item>
<title>BA-Vorstand Weise verteidigt sich gegen Vorw?rfe (Reuters Deutschland)</title>
<link>http://www.reuters.de/newsPackageArticle.jhtml?type=politicsNews&amp;sto ryID=449827&amp;section=news</link>
<description>Berlin (Reuters) - Der Finanzvorstand der Bundesagentur f?r Arbeit (BA), Frank-J?rgen Weise, hat Vorw?rfe zur?ckgewiesen, er habe ein f?r den inzwischen entlassenen BA-Chef Florian Gerster entlastendes Papier zur?ckgehalten. </description>
</item>

<item>
<title>Ber?hrt vom Flei? der Afghanen Bundeswehr als Friedensh?ter in Kundus (Westfalenpost)</title>
<link>http://www.westfalenpost.de/wp/wp.politik.volltext.php?kennung=on4wpPOLWelNationa l38017&amp;zulieferer=wp&amp;kategorie=POL&amp;rub rik=Welt&amp;region=National&amp;auftritt=WP&amp;d bserver=1</link>
<description>Kundus. (dpa) Die Kinder stehen winkend am Stra?enrand und strahlen. Sie stehen in der K?lte barfu? im Schlamm. Viele werden nicht ?berleben, wissen die Soldaten, die seit Oktober das deutsche Wiederaufbauteam (PRT) in der nordafghanischen Provinz ...</description>
</item>

<item>
<title>Blutige Terrorserie zum Beginn des Opferfestes (Spiegel Online)</title>
<link>http://www.spiegel.de/politik/ausland/0,1518,284560,00.html</link>
<description>Eine regelrechte Kaskade von Selbstmordanschl?gen, Bombenexplosionen und Raktenangriffen hat heute weit mehr als 100 Menschen im Irak get?tet. Die verheerendsten Attacken richteten sich gegen B?ros kurdischer Parteien im Nordirak - dabei starben ...</description>
</item>

<item>
<title>Stichwort: W?chterrat (Deutsche Welle)</title>
<link>http://www.dw-world.de/german/0,3367,1491_A_1102079_1_A,00.html</link>
<description>In der Islamischen Republik Iran, in der Geistliche auch an den Schalthebeln der politischen Macht sitzen, ist der W?chterrat ein m?chtiges Kontrollorgan. </description>
</item>

<item>
<title>Ausstellung ?ber Chagall und Deutschland im J?dischen Museum (Deutsche Welle)</title>
<link>http://www.dw-world.de/german/0,3367,1534_A_1102282_1_A,00.html</link>
<description>Im J?dischen Museum Frankfurt ist von Montag (2.2.2004) an eine Ausstellung ?ber das schwierige Verh?ltnis der Deutschen zu dem Maler Marc Chagall zu sehen. Die Schau &quot;Verehrt und Verfemt - Chagall in Deutschland&quot; ist bis 18. April zu sehen. In der ...</description>
</item>

<item>
<title> Mydoom &quot; ?berrennt SCO - Server (Handelsblatt)</title>
<link>http://www.handelsblatt.com/pshb/fn/relhbi/sfn/buildhbi/cn/GoArt!200104,204016,708795/SH/0/depot/0/</link>
<description>Der Computervirus Mydoom&quot; hat es geschafft: Er legte am Sonntag wie bef?rchtet die Website des US-Softwareunternehmens SCO lahm. Der Angriff mit Millionen sinnloser E-Mails setzte den Server der Firma schachmatt. </description>
</item>

<item>
<title>PDS will endlich wieder geil sein (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0128.nf/text.ges,1</link>
<description>Aber wie anstellen? Mit dem Kampf f?r ein anderes, soziales Europa? Parteichef Lothar Bisky nutzt den Europaparteitag, um den Genossen Selbstgerechtigkeit vorzuwerfen. Sahra Wagenknecht k?mpft sich im Gegenzug auf die Europaliste der Partei ...</description>
</item>

<item>
<title>Todesopfer und schwere Sch?den nach Sturm (K?lnische Rundschau)</title>
<link>http://www.rundschau-online.de/kr/page.jsp?ksArtikel.id=1074857221434&amp;listID=103 7966279508&amp;openMenu=&amp;calledPageId=10390828 45263</link>
<description>Hamburg - Nach orkanartigen B?en in Teilen Deutschlands am Wochenende wird es in den n?chsten Tagen fr?hlingshaft mild. Bis zu 17 Grad sagen die Experten des Wetterdienstes Meteomedia zur Wochenmitte voraus. Sturmtief &quot;Queenie&quot;, das in der Nacht zum ...</description>
</item>

<item>
<title>Reformen ohne Hin und Her (n-tv)</title>
<link>http://www.n-tv.de/5210316.html</link>
<description>In der Regierungskoalition gibt es weiter Unstimmigkeiten, wie schnell Reformen in Deutschland angegangen werden sollen. Au?enminister Joschka Fischer und andere f?hrende Gr?nen-Politiker sprachen sich daf?r aus, am Reformkurs festzuhalten. Dagegen ...</description>
</item>

<item>
<title>200 Menschen nach Schiffsungl?ck vermisst (Die Welt (Abonnement))</title>
<link>http://www.welt.de/data/2004/02/01/231474.html</link>
<description>?berladene F?hre geriet auf dem Kongo in Brand und sank. Passagiere k?nnten alleine weitergereist oder ums Leben gekommen sein ...</description>
</item>

<item>
<title>KOMMENTAR: Reformern auf die Finger blicken (K?lnische Rundschau)</title>
<link>http://www.rundschau-online.de/kr/page.jsp?ksArtikel.id=1074875540326&amp;listID=103 8816894055&amp;openMenu=1038816891802&amp;calledPa geId=1038816891802</link>
<description>Das hat gerade noch gefehlt: Die Kultusministerkonferenz wird ?ber den Vorschlag beraten, die Verantwortung f?r die Weiterentwicklung der Rechtschreibreform auf die beim Institut f?r Deutsche Sprache in Mannheim angesiedelte Zwischenstaatliche ...</description>
</item>

<item>
<title>Chemische Keule f?r Koch (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0200.nf/text.ges,1</link>
<description>So viel Unverfrorenheit war selten und so viel Sturheit noch dazu. Auf der einen Seite setzt sich der hessische Ministerpr?sident Roland Koch (CDU) vehement f?r den Erhalt der Arbeitspl?tze bei Aventis ein und warnt vor der ?bernahme der Pharmafirma ...</description>
</item>

<item>
<title>244 Pilger sterben bei Opferfest (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0116.nf/text.ges,1</link>
<description>MINA/SAUDI-ARABIEN ap/dpa Eine Massenpanik w?hrend der muslimischen Pilgerfahrt Hadsch hat gestern mindestens 244 Menschen das Leben gekostet, etwa genau so viele wurden verletzt. Die Menschen wurden w?hrend der symbolischen Steinigung der Versuchung ...</description>
</item>

<item>
<title>Druck auf Unionsf?hrung in Bundespr?sidenten-Debatte h?lt an (Reuters Deutschland)</title>
<link>http://www.reuters.de/newsPackageArticle.jhtml?type=politicsNews&amp;sto ryID=449806&amp;section=news</link>
<description>Berlin (Reuters) - In der Union h?lt der Druck auf die Parteif?hrung an, einen eigenen Kandidaten f?r das Amt des Bundespr?sidenten zu nominieren. </description>
</item>

<item>
<title>CSU zu weiterem Steuer-Zugest?ndnis an die CDU bereit Zweite Zusammenfassung (Solms-Braunfelser)</title>
<link>http://www.solms-braunfelser.de/ap/apnews.php?code=20040201APD7201</link>
<description>Berlin (AP) Im Streit der Union ?ber ihr gemeinsames Steuerkonzept ist die CSU zu einem weiteren umfassenden Zugest?ndnis an die CDU bereit. Unmittelbar vor der Verabschiedung des CSU-Modells am (morgigen) Montag im Parteivorstand machte der bayerische ...</description>
</item>

<item>
<title>Chinesische Asylbewerberin Mutter des M?dchens (Spiegel Online)</title>
<link>http://www.spiegel.de/panorama/0,1518,284491,00.html</link>
<description>Die Mutter des neugeborenen M?dchens, das ein Spazierg?nger tot in einem Bach gefunden hatte, ist identifiziert. Nach der Geburt war sie einen Freund besuchen gegangen. </description>
</item>

</channel>
</rss>

Missing items on the board:

<item>
<title>Ber?hrt vom Flei? der Afghanen Bundeswehr als Friedensh?ter in Kundus (Westfalenpost)</title>
<link>http://www.westfalenpost.de/wp/wp.politik.volltext.php?kennung=on4wpPOLWelNationa l38017&amp;zulieferer=wp&amp;kategorie=POL&amp;rub rik=Welt&amp;region=National&amp;auftritt=WP&amp;d bserver=1</link>
<description>Kundus. (dpa) Die Kinder stehen winkend am Stra?enrand und strahlen. Sie stehen in der K?lte barfu? im Schlamm. Viele werden nicht ?berleben, wissen die Soldaten, die seit Oktober das deutsche Wiederaufbauteam (PRT) in der nordafghanischen Provinz ...</description>
</item>

<item>
<title>Stichwort: W?chterrat (Deutsche Welle)</title>
<link>http://www.dw-world.de/german/0,3367,1491_A_1102079_1_A,00.html</link>
<description>In der Islamischen Republik Iran, in der Geistliche auch an den Schalthebeln der politischen Macht sitzen, ist der W?chterrat ein m?chtiges Kontrollorgan. </description>
</item>

<item>
<title>PDS will endlich wieder geil sein (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0128.nf/text.ges,1</link>
<description>Aber wie anstellen? Mit dem Kampf f?r ein anderes, soziales Europa? Parteichef Lothar Bisky nutzt den Europaparteitag, um den Genossen Selbstgerechtigkeit vorzuwerfen. Sahra Wagenknecht k?mpft sich im Gegenzug auf die Europaliste der Partei ...</description>
</item>

<item>
<title>KOMMENTAR: Reformern auf die Finger blicken (K?lnische Rundschau)</title>
<link>http://www.rundschau-online.de/kr/page.jsp?ksArtikel.id=1074875540326&amp;listID=103 8816894055&amp;openMenu=1038816891802&amp;calledPa geId=1038816891802</link>
<description>Das hat gerade noch gefehlt: Die Kultusministerkonferenz wird ?ber den Vorschlag beraten, die Verantwortung f?r die Weiterentwicklung der Rechtschreibreform auf die beim Institut f?r Deutsche Sprache in Mannheim angesiedelte Zwischenstaatliche ...</description>
</item>

<item>
<title>Chemische Keule f?r Koch (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0200.nf/text.ges,1</link>
<description>So viel Unverfrorenheit war selten und so viel Sturheit noch dazu. Auf der einen Seite setzt sich der hessische Ministerpr?sident Roland Koch (CDU) vehement f?r den Erhalt der Arbeitspl?tze bei Aventis ein und warnt vor der ?bernahme der Pharmafirma ...</description>
</item>

<item>
<title>244 Pilger sterben bei Opferfest (taz)</title>
<link>http://www.taz.de/pt/2004/02/02/a0116.nf/text.ges,1</link>
<description>MINA/SAUDI-ARABIEN ap/dpa Eine Massenpanik w?hrend der muslimischen Pilgerfahrt Hadsch hat gestern mindestens 244 Menschen das Leben gekostet, etwa genau so viele wurden verletzt. Die Menschen wurden w?hrend der symbolischen Steinigung der Versuchung ...</description>
</item>

I'd really love to get those feeds starting. Could I eventually give you access to the server and you check it out?

Thx in advance,

sjau

[wolfstream]

Same here. As soon as I removed these, the 1st came up again. Now, see, that's not something that should have to be done. There's most definitely a problem with this somewhere.

[Xyphen]

Yea, guys... I'm definitely checking that out. I just started having the same problem as well on my test board. I'm releasing v2.0 very soon. I had a friend write his own XML parsing class for this, which will allow you to specify what the date field is, because some feeds use "pubdate" and others use "date" and so forth, so there's going to be some more added. Not to mention I'm fixing the quotes and approstrophe's problem. Sorry for the hold up.

[wolfstream]

You might want to consider looking into the multi-feed support issue too. i don't know if that's wrapped up in the same thing or what, but it could very well be.

[sjau]

I'm just playing now with the idea of using a vB cron for periodic update of the feeds. I tend to think that on larger boards it's not a good idea to query the RSS file like ever 10-20 seconds just when someone goes in the according forum. I guess you could end up your IP being blocked!

[sjau]

Btw,

I'm just studying your code now and I just made the comparison between old entries and new RSS items visible by having the array values displayed.

Array display function:

PHP Code:

function displayArray($aArray) {
    if (is_array($aArray) && (count($aArray) > 0)) {
        print("<table border=1>");
        print("<tr><th>Key</th><th>Value</th></tr>");
        foreach ($aArray as $aKey => $aValue) {
            print("<tr>");
            if (!is_array($aValue)) {
                if (empty($aValue)) {
                    print("<td>$aKey</td><td><i>$aValue</i></td>");
                } else {
                    print("<td>$aKey</td><td>$aValue</td>");
                }
            } else {
                print("<td>$aKey(array)</td><td>");
                displayArray($aValue);
                print("</td>");
            }
            print("</tr>");
        }
        print("</table>");
    } else {
        print("<i>empty or invalid</i>");
    }
} 


Altered code:

PHP Code:

        // if there's no items in the database
        if($DB_site->num_rows($rss_query) == 0) {
            for($i = count($rss_allItems) - 1; $i >= 0; $i--) {
                $rss_allItems[$i][OLD] = false;
            }
        }

        displayArray($rss_allItems);

        // filter out the old items

        $rss_thread_data = $DB_site->fetch_array($rss_query);

        while($rss_thread_data = $DB_site->fetch_array($rss_query)) {
            for($j = count($rss_allItems) - 1; $j >= 0; $j--) {
                $rss_thread_data2[$j][title] = $rss_thread_data[title];
                $rss_thread_data2[$j][rss_date] = $rss_thread_data[rss_date];
            }
        }

        echo "<br><br>";

        displayArray($rss_thread_data2); 


And the rest is all commented out.

The result I'm getting is that:

- No date is set

it seems that the database still should be filled...
Looking more into this matter

http://wsjb78.com/forums/

Edit: I know my code is not quite right yet to display them accordingly



Actually forget all of the above settings. I found the problem:

Change this in your /forum/includes/RSS/rss_update.php:

PHP Code:

        for($i = count($rss_allItems) - 1; $i >= 0; $i--) {
            $rss_allItems[$i][OLD] = true;
        } 


To that:

PHP Code:

        for($i = count($rss_allItems) - 1; $i >= 0; $i--) {
            $rss_allItems[$i][OLD] = false;
        } 


[KuraFire]

Originally Posted by sjau

I'm just playing now with the idea of using a vB cron for periodic update of the feeds. I tend to think that on larger boards it's not a good idea to query the RSS file like ever 10-20 seconds just when someone goes in the according forum. I guess you could end up your IP being blocked!

Yup, many sites, especially larger ones, will block your IP (some do it for an hour, some for a day, some for a week, others permanently until you contact them) if you make more than one request per 30 / 60 minutes.

So having it fetch the XML/RSS feeds every time the forum page is loaded is Really likely to get your server ip banned from that xml/rss feed. And then you'll be complaining here that it doesn't work and cause insanity for poor Xyphen who's going through his code to see why that is

[sjau]

I think I've found the problem. Posted it into my previous post (didn't see KuraFire did already add another post).

[sjau]

Ok, I've tested this now several times and my modification seems to work without problems.

Further more I did remove the require code from the index.php and forumdisplay.php and copied the supplied two rss files from ./includes/RSS to ./includes/cron and setup a cron for them.
It seems that works also.

[Xyphen]

Yes, that definitely seemed to be a problem... in v2.0 there's a completely new RSS class, so that problem is definitely fixed. I see what you mean about the CRON job and such, I will look into it.