In the web RSS and ATOM feeds are still the backbone of the news ecosystem. But most professional news organizations still prefer to use standards from their own standardization body, the “International Press & Telecommunications Council”: IPTC. (Explaining why i put emphasis on the two “still”s is worth a separate post)
While IPTC NewsArchitecture G2 (NAR G2) is the new poster child and NITF is the standard used for multimedia / online wire stories (see for example my last post on geocoded-news). But the real workhorse still used is IPTC7901 resp. it’s close cousin ANPA1312 / IPTC-NAA1312. Since for the matter of this post they are identical lets focus on IPTC7901.
As you might have guessed the 79 in 7901 stands for 1979 the year when the standard was drafted. It’s latest 17-page revision (9 pages being annex :-) was written in 1995 , a year when newarly nobody knew about the web. Hence it is not surprising that the standard by no means takes the web into account and is a pure ASCII format.
So for those of you who haven’t seen an IPTC7901 text message:
hsh0061 4 vm 220 lno 0631 Verkehr/Bahn/ (Zusammenfassung 1430) Metronom: Schluss mit Alkohol in Zügen = Göttingen/Uelzen (dpa/lno) - Spätestens von der kommenden Saison an müssen Fußball-Fans und andere Reisende in Metronom-Zügen nüchtern bleiben. Als erstes Eisenbahnunternehmen in Deutschland will die private Gesellschaft «in den nächsten Monaten» ein absolutes Alkoholverbot verhängen, sagte Sprecherin Tatjana Festerling am Mittwoch. Der Grund: Trinkende Fans hinterlassen Unmengen Müll, belästigen andere Reisende, verursachen Sachbeschädigungen und attackieren immer häufiger auch das Zugpersonal. Metronom-Züge verkehren zwischen Göttingen und Uelzen und verbinden Hamburg mit mehreren anderen Städten. Mit dem Alkoholverbot werde auch ein Verbot von Glasflaschen kommen, sagte die Sprecherin. Der Sachschaden, den betrunkene Fußball-Fans in Metronom-Zügen anrichten, betrage mehr als 500 000 Euro pro Jahr, Tendenz steigend. Hinzu kommen die Kosten für die Beseitigung der Unmengen von Müll, die in den Waggons liegen blieben, sagte die Metronom-Sprecherin. Bei der Kundschaft stoßen die geplanten alkoholfreien Züge offenbar auf große Zustimmung. Von 5000 Fahrgästen hätten sich 4200 nachdrücklich für ein Alkoholverbot ausgesprochen, sagte Festerling. Das Verbot soll auch mit Hilfe externer Mitarbeiter durchgesetzt werden. Für die Deutsche Bahn dagegen ist ein Alkoholverbot «derzeit kein Thema». Dann müsse man auch den Konsum «eines gepflegten Glases Wein» oder eines Bieres im ICE-Speisewagen verbieten, sagte eine Sprecherin. Die Beförderungsbedingungen böten auch ohne Verbot die Möglichkeit, gegen Randalierer und extrem betrunkene Fahrgäste vorzugehen. [Metronom]: Uelzen - Göttingen dpa mb yyni z2 mö 191431 Aug 09
I first had a closer look at the pure ASCII format for text news when i looked for a way to get geo information into it, so that i can easily parse it in order to prepopulate our online CMS with the right information. You might have noticed the [Metronom]: Uelzen- Göttingen at the end of the above story.
So day after day a large number of news organizations receive stories in this format and import it into their editorial and content management systems. They then to mark it up, add links to it etc. in order to make it publishable.
Plenty of work has to be done at the receiving end that should be better be done at the source.
In the last days another side-project triggered a closer look at this issue. In the remainder of this post i’ll present the first results of it
Lightweight Markup to the rescue
Since i personally write most of my texts in a lightweight markup language such as Markdown, Textile, restructuredText, Creole or some other WikiSyntax , it was claer to me that the solution would be to recommend to use one of these languages for markin up the text in pure ASCII.
This would enable the possibility to instantly reuse
- all kind of parsers and tools built and written either for this language, and
- since the parsers generate (X)HTML also all tools and systems available for XML and HTML
So i had a close look at quite some news articles and how the markup in these languages would look like. I also checked with the IPTC7901 spec. if both would interfere. But since IPTC7901 is basically a container format that places little to no restrictions on the message content itself.
After doing all this my recommendation is the following:
Use Markdown (resp. Markdown Extras) for the markup of news stories within IPTC7901 wires
Overall i was able to encode most of the things that i wanted to mark up an it was the visually most pleasing markup. Moreover there is Aaron Schwartz HTML2TxT tool that helps with backtranslating HTML into Markdown.
Example
So how would this look like? The following is an example of a real dpa wire story pimped with markdown:
Original Wire-Text:
hes0010 4 vm 575 lhe 7033 KORR-Inland/Tiere/ (SERIE LANDSLEUTE - Wochenendwiederholung) Die mit den Wölfen heult - Forscherin geht neue Wege Von Jörn Perske, dpa (Mit Bild) = Hanau (dpa/lhe) - Zum Frühstück gibt es Rindfleisch. Marion Ebel öffnet das Tor zum Gehege und schmeißt ihre Lieblingen im Wildpark Hanau dicke Brocken hin. Nachdem für das leibliche Wohl gesorgt ist, verteilt die Biologin Streicheleinheiten. Sie krault den Tieren das Fell, sie lecken ihr als Dankeschön über das Gesicht. Das morgendliche Schmuse-Ritual mit den Raubtieren ist für Ebel so normal wie Kaffeetrinken. Ungewöhnlich jedoch: Die Wissenschaftlerin pflegt solch ein inniges Verhältnis zu Polarwölfen. «Für die Drei bin ich ein Sozialpartner. Wir haben großes Vertrauen zueinander», sagt sie. Vor ein paar Jahren war sie für das Trio sogar noch die Wolfsmutter. Sie zog Scott, Khan und Ayla vom Welpen-Alter an mit der Milchflasche auf. Das allein ist schon selten. Zudem erzog die Wolfsforscherin die Raubtiere auf die nette Tour im «anti-autoritären Stil». «Die meisten gehen mit Wölfen hierarchisch um und nehmen selbst die Rolle des Alpha-Tiers ein. Ich gehe einen eigenen, ungewöhnlichen Weg. Ich habe sie bestimmt nicht zu weichen Haustieren gemacht, aber gezähmt», erklärt die 47-jährige Hanauerin, setzt sich zwischen die schneeweißen Raubtiere und stimmt das Wolfsheulen an. Nur wenige Sekunden dauert es, bis Scott, Khan und Ayla einstimmen und ihre Laute durch den ganzen Park schallen. Gänsehaut-Atmosphäre bei Wolfsheul-Nächten im Wildpark «Wenn wir Zuhörer haben, sind die ganz ergriffen. Einigen kommen sogar Tränen der Rührung - solch ein schönes Gänsehaut-Erlebnis kann das sein», sagt Ebel, die regelmäßig Wolfsheul-Nächte im Wildpark veranstaltet. Ein paar Hundert Zuhörer kommen zu den tierischen Konzerten. Alles nur Show? Ebel sagt, die Tiere sollten die Besucher neugierig machen. Sie will mit ihren «Vorzeige-Wölfen» Werbung für die über Jahrhunderte verfolgten und zeitweise ausgerotteten Tiere machen. «Sie sollen Öffentlichkeitsarbeit für ihre Art machen und zur Aufklärung beitragen.» Für viele Menschen sei der Wolf noch heute ein gefährlicher Räuber, den sie lieber tot als lebendig sehen. Doch auch Ebel weiß um die Gefahr, die von den kräftigen und geschickten Tieren ausgehen kann. «Sie sind ja sehr ruppig miteinander.» Wölfe haben eine Beißkraft von 1,5 Tonnen. «Da zerbröselt jeder Knochen wie Zwieback», vergleicht Ebel trocken. In den 1980er Jahren habe es mal einen Unfall gegeben, als ein Wolfsforscher in Hanau von einem Rudel angefallen wurde. Für sie selbst sei es noch nie brenzlig geworden. Im Gegenteil: «Die Tiere sind hochsensibel. Wenn ich Kreuzschmerzen habe, spüren sie das sofort und gehen behutsamer mit der Mama um.» Mit Wölfen bei Aufzucht im Bauwagen geschlafen Im Alter von zehn Tagen kamen die drei kleinen Wölfe im Frühjahr 2004 vom Zoo in Stralsund in den Hanauer Wildpark. «Wenn die Tiere älter als 14 Tage sind, kann man nicht mehr diese tiefe Bindung aufbauen. In den ersten Monaten zählte jede Minute, die ich mit ihnen verbracht habe. Deswegen habe ich zunächst auch wochenlang mit ihnen in einem Bauwagen geschlafen, der im Gehege stand», erzählt Ebel. «Wölfe stinken im Gegensatz zu Hunden Gott sei Dank nicht. Sie riechen fantastisch. Und Liebe geht ja bekanntlich durch die Nase.» Sie war noch nie länger als drei Tage von den Wölfen getrennt. In den Urlaub vereist sei sie seit Jahren nicht mehr. Belohnt wird sie durch die Erlebnisse mit den Wölfen. «Im Rudel ist immer etwas los. Bei einer Rotwildgruppe langweilt man sich meist im Gegensatz dazu zu Tode», findet die wissenschaftliche Leiterin des Wildparks. Pläne, das Rudel zu vergrößern, laufen schon. «Wir wollen im nächsten Jahr zwei, oder drei neue Welpen holen und sie in das Rudel integrieren.» Dem Leitwolf Scott ist es noch nicht gelungen, mit der Wölfin Ayla Nachwuchs zu zeugen. «Ayla macht alles richtig. Aber Scott veranstaltet da eher Gymnastik. Khan darf aufgrund der Rangordnung nicht ran.» (Service: Eintrittspreise 4 Euro, Kinder 2 Euro, Kinder unter vier Jahren kostenlos; Termine zum Wolfsheulen: 2. Oktober (17.00 Uhr), 2. November (17.00 Uhr)) (Internet: www.dr-marion-ebel.com; www.erlebnis-wildpark.de) (Achtung: Hintergrund zu Polarwölfen bis 0530 - ca. 20 Zeilen; Hintergrund zu Wölfen in Deutschland bis 0530 - ca. 10 Zeilen) [Erlebnis Wildpark «Alte Fasanerie«]: Fasaneriestr., 63456 Hanau dpa jp yyhe a3 sh 130520 Sep 09
Modified into using Markdown (and making the enclosed meta-information more easily accessible):
hes0010 4 vm 575 lhe 7033 KORR-Inland/Tiere/ (SERIE LANDSLEUTE - Wochenendwiederholung) # Die mit den Wölfen heult - Forscherin geht neue Wege Von *Jörn Perske*, dpa (Mit Bild) = *Hanau* (dpa/lhe) - Zum Frühstück gibt es Rindfleisch. [Marion Ebel][1] öffnet das Tor zum Gehege und schmeißt ihre Lieblingen im Wildpark Hanau dicke Brocken hin. Nachdem für das leibliche Wohl gesorgt ist, verteilt die Biologin Streicheleinheiten. Sie krault den Tieren das Fell, sie lecken ihr als Dankeschön über das Gesicht. Das morgendliche Schmuse-Ritual mit den Raubtieren ist für Ebel so normal wie Kaffeetrinken. Ungewöhnlich jedoch: Die Wissenschaftlerin pflegt solch ein inniges Verhältnis zu Polarwölfen. «Für die Drei bin ich ein Sozialpartner. Wir haben großes Vertrauen zueinander», sagt sie. Vor ein paar Jahren war sie für das Trio sogar noch die Wolfsmutter. Sie zog Scott, Khan und Ayla vom Welpen-Alter an mit der Milchflasche auf. Das allein ist schon selten. Zudem erzog die Wolfsforscherin die Raubtiere auf die nette Tour im «anti-autoritären Stil». «Die meisten gehen mit Wölfen hierarchisch um und nehmen selbst die Rolle des Alpha-Tiers ein. Ich gehe einen eigenen, ungewöhnlichen Weg. Ich habe sie bestimmt nicht zu weichen Haustieren gemacht, aber gezähmt», erklärt die 47-jährige Hanauerin, setzt sich zwischen die schneeweißen Raubtiere und stimmt das Wolfsheulen an. Nur wenige Sekunden dauert es, bis Scott, Khan und Ayla einstimmen und ihre Laute durch den ganzen Park schallen. ## Gänsehaut-Atmosphäre bei Wolfsheul-Nächten im Wildpark «Wenn wir Zuhörer haben, sind die ganz ergriffen. Einigen kommen sogar Tränen der Rührung - solch ein schönes Gänsehaut-Erlebnis kann das sein», sagt Ebel, die regelmäßig Wolfsheul-Nächte im Wildpark veranstaltet. Ein paar Hundert Zuhörer kommen zu den tierischen Konzerten. Alles nur Show? Ebel sagt, die Tiere sollten die Besucher neugierig machen. Sie will mit ihren «Vorzeige-Wölfen» Werbung für die über Jahrhunderte verfolgten und zeitweise ausgerotteten Tiere machen. «Sie sollen Öffentlichkeitsarbeit für ihre Art machen und zur Aufklärung beitragen.» Für viele Menschen sei der Wolf noch heute ein gefährlicher Räuber, den sie lieber tot als lebendig sehen. Doch auch Ebel weiß um die Gefahr, die von den kräftigen und geschickten Tieren ausgehen kann. «Sie sind ja sehr ruppig miteinander.» Wölfe haben eine Beißkraft von 1,5 Tonnen. «Da zerbröselt jeder Knochen wie Zwieback», vergleicht Ebel trocken. In den 1980er Jahren habe es mal einen Unfall gegeben, als ein Wolfsforscher in Hanau von einem Rudel angefallen wurde. Für sie selbst sei es noch nie brenzlig geworden. Im Gegenteil: «Die Tiere sind hochsensibel. Wenn ich Kreuzschmerzen habe, spüren sie das sofort und gehen behutsamer mit der Mama um.» ## Mit Wölfen bei Aufzucht im Bauwagen geschlafen Im Alter von zehn Tagen kamen die drei kleinen Wölfe im Frühjahr 2004 vom Zoo in Stralsund in den [Hanauer Wildpark][2]. «Wenn die Tiere älter als 14 Tage sind, kann man nicht mehr diese tiefe Bindung aufbauen. In den ersten Monaten zählte jede Minute, die ich mit ihnen verbracht habe. Deswegen habe ich zunächst auch wochenlang mit ihnen in einem Bauwagen geschlafen, der im Gehege stand», erzählt Ebel. «Wölfe stinken im Gegensatz zu Hunden Gott sei Dank nicht. Sie riechen fantastisch. Und Liebe geht ja bekanntlich durch die Nase.» Sie war noch nie länger als drei Tage von den Wölfen getrennt. In den Urlaub vereist sei sie seit Jahren nicht mehr. Belohnt wird sie durch die Erlebnisse mit den Wölfen. «Im Rudel ist immer etwas los. Bei einer Rotwildgruppe langweilt man sich meist im Gegensatz dazu zu Tode», findet die wissenschaftliche Leiterin des Wildparks. Pläne, das Rudel zu vergrößern, laufen schon. «Wir wollen im nächsten Jahr zwei, oder drei neue Welpen holen und sie in das Rudel integrieren.» Dem Leitwolf Scott ist es noch nicht gelungen, mit der Wölfin Ayla Nachwuchs zu zeugen. «Ayla macht alles richtig. Aber Scott veranstaltet da eher Gymnastik. Khan darf aufgrund der Rangordnung nicht ran.» [1]: http://www.dr-marion-ebel.com (Homepage von Marion Ebel) [2]: http://www.erlebnis-wildpark.de (Homepage des Hanauer Wildparks) ---- ## Infos - Autor: <perske.joern@dpa.com> (Jörn Perske) ### Internet - <http://www.dr-marion-ebel.com> - <http://www.erlebnis-wildpark.de> ### Hinweise - Hintergrund zu Polarwölfen bis 0530 - ca. 20 Zeilen - Hintergrund zu Wölfen in Deutschland bis 0530 - ca. 10 Zeilen - SERIE LANDSLEUTE - Mit Bild - Wochenendwiederholung ### Service Eintrittspreise 4 Euro, Kinder 2 Euro, Kinder unter vier Jahren kostenlos; Termine zum Wolfsheulen: 2. Oktober (17.00 Uhr), 2. November (17.00 Uhr)) ### Orte [Erlebnis Wildpark «Alte Fasanerie«]: Fasaneriestr., 63456 Hanau ---- dpa jp yyhe a3 sh 130520 Sep 09
Generated (X)HTML (using Markdown Dingus):
hes0010 4 vm 575 lhe 7033
KORR-Inland/Tiere/
(SERIE LANDSLEUTE – Wochenendwiederholung)
Die mit den Wölfen heult – Forscherin geht neue Wege
Von Jörn Perske, dpa
(Mit Bild) =
Hanau (dpa/lhe) – Zum Frühstück gibt es Rindfleisch. Marion Ebel
öffnet das Tor zum Gehege und schmeißt ihre Lieblingen im Wildpark
Hanau dicke Brocken hin. Nachdem für das leibliche Wohl gesorgt ist,
verteilt die Biologin Streicheleinheiten. Sie krault den Tieren das
Fell, sie lecken ihr als Dankeschön über das Gesicht. Das
morgendliche Schmuse-Ritual mit den Raubtieren ist für Ebel so normal
wie Kaffeetrinken. Ungewöhnlich jedoch: Die Wissenschaftlerin pflegt
solch ein inniges Verhältnis zu Polarwölfen. «Für die Drei bin ich
ein Sozialpartner. Wir haben großes Vertrauen zueinander», sagt sie.
Vor ein paar Jahren war sie für das Trio sogar noch die
Wolfsmutter. Sie zog Scott, Khan und Ayla vom Welpen-Alter an mit der
Milchflasche auf. Das allein ist schon selten. Zudem erzog die
Wolfsforscherin die Raubtiere auf die nette Tour im «anti-autoritären
Stil». «Die meisten gehen mit Wölfen hierarchisch um und nehmen
selbst die Rolle des Alpha-Tiers ein. Ich gehe einen eigenen,
ungewöhnlichen Weg. Ich habe sie bestimmt nicht zu weichen Haustieren
gemacht, aber gezähmt», erklärt die 47-jährige Hanauerin, setzt sich
zwischen die schneeweißen Raubtiere und stimmt das Wolfsheulen an.
Nur wenige Sekunden dauert es, bis Scott, Khan und Ayla einstimmen
und ihre Laute durch den ganzen Park schallen.
Gänsehaut-Atmosphäre bei Wolfsheul-Nächten im Wildpark
«Wenn wir Zuhörer haben, sind die ganz ergriffen. Einigen kommen
sogar Tränen der Rührung – solch ein schönes Gänsehaut-Erlebnis kann
das sein», sagt Ebel, die regelmäßig Wolfsheul-Nächte im Wildpark
veranstaltet. Ein paar Hundert Zuhörer kommen zu den tierischen
Konzerten. Alles nur Show? Ebel sagt, die Tiere sollten die Besucher
neugierig machen. Sie will mit ihren «Vorzeige-Wölfen» Werbung für
die über Jahrhunderte verfolgten und zeitweise ausgerotteten Tiere
machen. «Sie sollen Öffentlichkeitsarbeit für ihre Art machen und zur
Aufklärung beitragen.» Für viele Menschen sei der Wolf noch heute ein
gefährlicher Räuber, den sie lieber tot als lebendig sehen.
Doch auch Ebel weiß um die Gefahr, die von den kräftigen und
geschickten Tieren ausgehen kann. «Sie sind ja sehr ruppig
miteinander.» Wölfe haben eine Beißkraft von 1,5 Tonnen. «Da
zerbröselt jeder Knochen wie Zwieback», vergleicht Ebel trocken. In
den 1980er Jahren habe es mal einen Unfall gegeben, als ein
Wolfsforscher in Hanau von einem Rudel angefallen wurde. Für sie
selbst sei es noch nie brenzlig geworden. Im Gegenteil: «Die Tiere
sind hochsensibel. Wenn ich Kreuzschmerzen habe, spüren sie das
sofort und gehen behutsamer mit der Mama um.»
Mit Wölfen bei Aufzucht im Bauwagen geschlafen
Im Alter von zehn Tagen kamen die drei kleinen Wölfe im Frühjahr
2004 vom Zoo in Stralsund in den Hanauer Wildpark. «Wenn die Tiere
älter als 14 Tage sind, kann man nicht mehr diese tiefe Bindung
aufbauen. In den ersten Monaten zählte jede Minute, die ich mit ihnen
verbracht habe. Deswegen habe ich zunächst auch wochenlang mit ihnen
in einem Bauwagen geschlafen, der im Gehege stand», erzählt Ebel.
«Wölfe stinken im Gegensatz zu Hunden Gott sei Dank nicht. Sie
riechen fantastisch. Und Liebe geht ja bekanntlich durch die Nase.»
Sie war noch nie länger als drei Tage von den Wölfen getrennt. In
den Urlaub vereist sei sie seit Jahren nicht mehr. Belohnt wird sie
durch die Erlebnisse mit den Wölfen. «Im Rudel ist immer etwas los.
Bei einer Rotwildgruppe langweilt man sich meist im Gegensatz dazu zu
Tode», findet die wissenschaftliche Leiterin des Wildparks. Pläne,
das Rudel zu vergrößern, laufen schon. «Wir wollen im nächsten Jahr
zwei, oder drei neue Welpen holen und sie in das Rudel integrieren.»
Dem Leitwolf Scott ist es noch nicht gelungen, mit der Wölfin Ayla
Nachwuchs zu zeugen. «Ayla macht alles richtig. Aber Scott
veranstaltet da eher Gymnastik. Khan darf aufgrund der Rangordnung
nicht ran.»
Infos
- Autor: perske.joern@dpa.com (Jörn Perske)
Internet
Hinweise
- Hintergrund zu Polarwölfen bis 0530 – ca. 20 Zeilen
- Hintergrund zu Wölfen in Deutschland bis 0530 – ca. 10 Zeilen
- SERIE LANDSLEUTE
- Mit Bild
- Wochenendwiederholung
Service
Eintrittspreise 4 Euro, Kinder 2 Euro, Kinder unter vier
Jahren kostenlos; Termine zum Wolfsheulen: 2. Oktober (17.00 Uhr), 2.
November (17.00 Uhr))
Orte
[Erlebnis Wildpark «Alte Fasanerie«]: Fasaneriestr., 63456 Hanau
dpa jp yyhe a3 sh
130520 Sep 09
Next steps
Unfortunately this post is a bit too late for the IPTC Autumn session which ended yesterday. But since i haven’t been there anyway i would still have relied on the mights of the internets to gather some feedback form other news agencies and customers.
I also am looking into the “Non-story”-wire content of dpa (which is most often a carefully constructed tabular ASCII-art) and how to represent it best in Markdown. Right now i’m in favor of a nested list approach for some of the content.
On the IPTC side there is one tiny obstacle: the slug separator char. In most wires the slug is actually the headline of the story, hence it would be great to use the appropriate Markdown syntax for that. Unfortunately using >4 =-signs starting on a new line, which would be valid IPTC and Markdown does not work with multi-line headlines.