"Demo"-Projekt mit RagTime....

Hallo,

ich habe beruflich enorm viel damit zu tun, Daten aus verschiedensten Quellen
zusammenzutragen, sie zu verarbeiten (durch maschinelle Berechnungen ebenso
wie durch menschliche Intelligenz) um daraus Informationen zu gewinnen, die
Informationen dann wieder zusammenzuführen (in Tabellen), sie anschaulich
aufzubereiten (in Diagrammen) und jede Menge erklärenden Text zu den
Tabellen, Diagrammen und sonstigem zu schreiben.

Bisher wird dafür in unserem Büro dafür der übliche unbrauchbare 08/15
Standard-Schrott verwendet:

- nicht effizient auswertbare, eingabefreundliche und redundanz- bzw.
widerspruchsfrei zu haltende primitive eindimensionale Excel-Listen als
"Datenmüllhalde", die man bei jedem Projekt aus neue manuell aufwendig
durchwühlen "darf"
- Word, in das man die Informationen aus den Excel-Listen nicht vernünftig
übernehmen kann - DDE und OLE scheiden mangels Zuverlässigkeit bei
nennenswerten Datenmengen prinzipbedingt aus. Und das auch keine brauchbaren,
wirklich funktionierenden Formatvorlagen bietet.

Meine Idee ist nun, anhand eines aktuell gelaufenen Projekts dem Chef zu
zeigen, mit welchen Werkzeugen sich viel effizienter weitaus bessere
Resultate erzielen lassen.

Einer der Kandidaten, unter denen ich mich für meine privat nach Feierabend
aufgezogene Demo entscheiden muß ist RagTime.

Also:

Die Grunddaten kommen in eine Datenbank (Postgres). Es handelt sich dabei
sowohl um Zahlen als auch um Text. Dabei sollen auch lange, strukturierte
Texte in der Datenbank verwaltet werden, z.B. technische Beschreibungen. Die
Strukturierung sollte sinnvollerweise in einer standardisierten Art und Weise
erfolgen, damit die Leute, die die Texte erarbeiten, mit entsprechenden
Vorgaben zuverlässig korrekt strukturierte Texte erzeugen können. Hier würde
sich z.B. XML anbieten mit einem vordefinierten Schema.

Die Daten müßten durch entsprechend definierte Abfragen in eine
menschenlesbare Listenform überführt werden, was die Zahlen und einfache
Textfelder angeht. Diese einfachen Listen würde dann ein menschliches Wesen
filtern (z.B. durch manuelles Ausblenden oder Markieren/Löschen von
Listeneinträgen) und aus den gefilterten Daten müßten dann wieder automatisch
schön formatierte Tabellen im Dokument erzeugt werden. Außerdem würden aus
den gefilterten Daten automatisch Diagramme erzeugt, die automatisch mit
Formatvorlagen formatiert würden.

Die Inhalte der langen, strukturierten Texte müßten in das gleiche Dokument
einfließen und dabei entsprechend der Struktur geeignet durch vordefinierte
Absatzformate etc. formatiert werden.

Die Formatierung aller Elemente im gesamten Dokument müßte komplett
automatisch mit entsprechend definierten Vorlagen erfolgen. Funktionieren
soll alles ohne irgendwelche großartige Makroprogrammierung, ein kleines
bischen Applescript oder/und Python (zur Verarbeitung von Texten und XML)
geht grade noch in Ordnung.

So. Das ist alles, was ich brauche. :-)

Bei RagTime sehe ich derzeit noch keine mit "Bordmitteln" realisierbare
Lösung z.B. dafür, XML-Textblöcke in eine Pipeline einfließen zu lassen und
dabei entsprechend den Element-"Tags" vordefinierte Absatzformate auf den
Text anzuwenden. Die einzige Möglichkeit, die ich hier sehe, wäre, den Text
nachträglich per Applescript-Schnittstelle entsprechend "durchzuackern". Auch
der aktuelle Stand der Datenbankanbindung ist mir noch unklar. Daneben
scheint mir die Numerierungsfunktion noch keine frei benutzerdefinierten
Formate für beliebige Elemente bieten zu können, wie ich sie benötige. Eine
Referenz wäre hier die "Autotext"-Funktion von Mellel, die extrem flexible
Möglichkeiten durch Definition von Variablen bietet.

Danke im Voraus für alle sachdienlichen Hinweise, die mir erlauben würden, im
Voraus zu beurteilen, wie geeignet RagTime für die beschriebene
Aufgabenstellung ist.

MfG,

Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4553 On 1 Februar, 2006 11:24 Stephan Will said,

Hallo Wolfgang,

das, was Du da beschreibst, ist nach meinem
Wissen mit Standard-Software nicht zu lösen.
Das Problem ist nicht XML, wobei RT das nicht
kann, sondern der Wunsch nach automtisch erzeugten Diagrammen.
Da wird es schwierig.
Kann Postgres XML rausschreiben? Das XML muß
bereits voll getaggt/formatiert sein.

In meiner Sicht kann das nur über einen Workflow
mit XML, XSLT, SVG und XML-Layout-Software wie Adobe FrameMaker gelöst werden.

Gruß
Stephan Will

At 31.01.2006 21:36, you wrote:
>Hallo,
>
>ich habe beruflich enorm viel damit zu tun, Daten aus verschiedensten Quellen
>zusammenzutragen, sie zu verarbeiten (durch maschinelle Berechnungen ebenso
>wie durch menschliche Intelligenz) um daraus Informationen zu gewinnen, die
>Informationen dann wieder zusammenzuführen (in Tabellen), sie anschaulich
>aufzubereiten (in Diagrammen) und jede Menge erklärenden Text zu den
>Tabellen, Diagrammen und sonstigem zu schreiben.
>
>Bisher wird dafür in unserem Büro dafür der übliche unbrauchbare 08/15
>Standard-Schrott verwendet:
>
>- nicht effizient auswertbare, eingabefreundliche und redundanz- bzw.
>widerspruchsfrei zu haltende primitive eindimensionale Excel-Listen als
>"Datenmüllhalde", die man bei jedem Projekt aus neue manuell aufwendig
>durchwühlen "darf"
>- Word, in das man die Informationen aus den Excel-Listen nicht vernünftig
>übernehmen kann - DDE und OLE scheiden mangels Zuverlässigkeit bei
>nennenswerten Datenmengen prinzipbedingt aus. Und das auch keine brauchbaren,
>wirklich funktionierenden Formatvorlagen bietet.
>
>Meine Idee ist nun, anhand eines aktuell gelaufenen Projekts dem Chef zu
>zeigen, mit welchen Werkzeugen sich viel effizienter weitaus bessere
>Resultate erzielen lassen.
>
>Einer der Kandidaten, unter denen ich mich für meine privat nach Feierabend
>aufgezogene Demo entscheiden muß ist RagTime.
>
>Also:
>
>Die Grunddaten kommen in eine Datenbank (Postgres). Es handelt sich dabei
>sowohl um Zahlen als auch um Text. Dabei sollen auch lange, strukturierte
>Texte in der Datenbank verwaltet werden, z.B. technische Beschreibungen. Die
>Strukturierung sollte sinnvollerweise in einer standardisierten Art und Weise
>erfolgen, damit die Leute, die die Texte erarbeiten, mit entsprechenden
>Vorgaben zuverlässig korrekt strukturierte Texte erzeugen können. Hier würde
>sich z.B. XML anbieten mit einem vordefinierten Schema.
>
>Die Daten müßten durch entsprechend definierte Abfragen in eine
>menschenlesbare Listenform überführt werden, was die Zahlen und einfache
>Textfelder angeht. Diese einfachen Listen würde dann ein menschliches Wesen
>filtern (z.B. durch manuelles Ausblenden oder Markieren/Löschen von
>Listeneinträgen) und aus den gefilterten Daten müßten dann wieder automatisch
>schön formatierte Tabellen im Dokument erzeugt werden. Außerdem würden aus
>den gefilterten Daten automatisch Diagramme erzeugt, die automatisch mit
>Formatvorlagen formatiert würden.
>
>Die Inhalte der langen, strukturierten Texte müßten in das gleiche Dokument
>einfließen und dabei entsprechend der Struktur geeignet durch vordefinierte
>Absatzformate etc. formatiert werden.
>
>Die Formatierung aller Elemente im gesamten Dokument müßte komplett
>automatisch mit entsprechend definierten Vorlagen erfolgen. Funktionieren
>soll alles ohne irgendwelche großartige Makroprogrammierung, ein kleines
>bischen Applescript oder/und Python (zur Verarbeitung von Texten und XML)
>geht grade noch in Ordnung.
>
>So. Das ist alles, was ich brauche. :-)
>
>Bei RagTime sehe ich derzeit noch keine mit "Bordmitteln" realisierbare
>Lösung z.B. dafür, XML-Textblöcke in eine Pipeline einfließen zu lassen und
>dabei entsprechend den Element-"Tags" vordefinierte Absatzformate auf den
>Text anzuwenden. Die einzige Möglichkeit, die ich hier sehe, wäre, den Text
>nachträglich per Applescript-Schnittstelle entsprechend "durchzuackern". Auch
>der aktuelle Stand der Datenbankanbindung ist mir noch unklar. Daneben
>scheint mir die Numerierungsfunktion noch keine frei benutzerdefinierten
>Formate für beliebige Elemente bieten zu können, wie ich sie benötige. Eine
>Referenz wäre hier die "Autotext"-Funktion von Mellel, die extrem flexible
>Möglichkeiten durch Definition von Variablen bietet.
>
>Danke im Voraus für alle sachdienlichen Hinweise, die mir erlauben würden, im
>Voraus zu beurteilen, wie geeignet RagTime für die beschriebene
>Aufgabenstellung ist.
>
>MfG,
>
>Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4581 On 2 Februar, 2006 21:02 Wolfgang Keller said,

(Tofu entsorgt)

On Wed, 1 Feb 2006 11:24:31 +0100, Stephan Will wrote
(in article ):

> Das Problem ist nicht XML, wobei RT das nicht kann, sondern der Wunsch
> nach automtisch erzeugten Diagrammen. Da wird es schwierig. Kann Postgres
> XML rausschreiben? Das XML muß bereits voll getaggt/formatiert sein.

Das XML wird von Menschen erzeugt, die dafür geeignete Software benutzen
(sowas wie Conglomerate z.B. oder Serna).

Postgres ist das völlig wurscht, daß da in den Textfeldern so viele komische
, und / auftauchen.

MfG,

Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4584 On 2 Februar, 2006 21:36 Wolfgang Keller said,

On Wed, 1 Feb 2006 11:24:31 +0100, Stephan Will wrote
(in article ):

> Das Problem ist nicht XML, wobei RT das nicht
> kann, sondern der Wunsch nach automtisch erzeugten Diagrammen.
> Da wird es schwierig.

Äh, wird RagTime nicht von irgendeinem statistischen Landesamt verwendet?

Die machen doch genau das.

MfG,

Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4591 On 3 Februar, 2006 11:31 Stephan Will said,

Hallo Wofgang,

> > Das Problem ist nicht XML, wobei RT das nicht
> > kann, sondern der Wunsch nach automtisch erzeugten Diagrammen.
> > Da wird es schwierig.
>
>Äh, wird RagTime nicht von irgendeinem statistischen Landesamt verwendet?
>
>Die machen doch genau das.

gut möglich.
Es ist ja auch möglich, diverse Dinge in RT über
AppleScript zu steuern, auch Diagramm-Erstellung.

Aber: XML kann nicht direkt verarbeitet werden ->
Preprozeß-Steuerung programmieren, damit RT das Datenmaterial verwenden kann.
Anschließend: AppleScript-Programmierung zur Diagramm-Erzeugung.
Dann soll noch die Möglichkeit bestehen, Daten
wieder aus RT in XML zu schreiben, oder? Also
ganzen Weg auch in die andere Richtung programmieren.

Machbar ist das.
Stellt sich nur die Frage, ob die notwendigen
Mittel (Zeit/Geld) dafür zur Verfügung stehen.

Gruß
Stephan Will

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4593 On 4 Februar, 2006 20:07 Wolfgang Keller said,

>>> Das Problem ist nicht XML, wobei RT das nicht
>>> kann, sondern der Wunsch nach automtisch erzeugten Diagrammen.
>>> Da wird es schwierig.
>>
>> Äh, wird RagTime nicht von irgendeinem statistischen Landesamt verwendet?
>>
>> Die machen doch genau das.
>
> gut möglich.
> Es ist ja auch möglich, diverse Dinge in RT über
> AppleScript zu steuern, auch Diagramm-Erstellung.

Für die Diagrammerstellung hatte ich eher an eine entsprechende Vorlage
gedacht. Die Rechenblätter und Diagramm definiert man darin einmal
"generisch" und dann zieht man eben die Daten per ODBC rein und füllt das
ganze mit konkreten Zahlen auf. Dabei sollten sich die Diagramme automatisch
updaten. Auch ohne Skript.

> Aber: XML kann nicht direkt verarbeitet werden ->
> Preprozeß-Steuerung programmieren, damit RT das Datenmaterial verwenden kann.

RagTime sollte das XML einfach als puren Text reinziehen. Hinterher müßte man
dann halt den ganzen Textfluß per Skript durchackern und die Element-"Tags"
mit den entsprechenden Absatzformaten ersetzen.

Es geht ja auch nicht um super-komplexe Sachen, nur ein bischen hierarchische
Struktur und Listen, das dürfte es auch schon sein.

> Anschließend: AppleScript-Programmierung zur Diagramm-Erzeugung.
> Dann soll noch die Möglichkeit bestehen, Daten
> wieder aus RT in XML zu schreiben, oder?

Nö. Wozu auch.

MfG,

Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4595 On 5 Februar, 2006 14:07 Stephan Will said,

Hallo Wolfgang,

> > Es ist ja auch möglich, diverse Dinge in RT über
> > AppleScript zu steuern, auch Diagramm-Erstellung.
>
>Für die Diagrammerstellung hatte ich eher an eine entsprechende Vorlage
>gedacht. Die Rechenblätter und Diagramm definiert man darin einmal
>"generisch" und dann zieht man eben die Daten per ODBC rein und füllt das
>ganze mit konkreten Zahlen auf. Dabei sollten sich die Diagramme automatisch
>updaten. Auch ohne Skript.

wie nun?
Soll XML verwendet werden oder sollen die Daten per ODBC direkt in RT gelangen?
Beides zur gleichen Zeit macht keinen Sinn.

ODBC unter Windows ist meines Wissens möglich,
unter Mac OS X weiß ich es nicht genau.
Da haben sich Änderungen ergeben.

Ob ein automatisches Diagramm-Update ohne Script
möglich ist, können andere besser beantworten.

> > Aber: XML kann nicht direkt verarbeitet werden ->
> > Preprozeß-Steuerung programmieren, damit RT
> das Datenmaterial verwenden kann.
>
>RagTime sollte das XML einfach als puren Text reinziehen. Hinterher müßte man
>dann halt den ganzen Textfluß per Skript durchackern und die Element-"Tags"
>mit den entsprechenden Absatzformaten ersetzen.

Warum dann überhaupt XML? Um eine fehleranfällige Wandlung vorzunehmen?
Dann doch gleich RTF bzw. CSV oder ODBC.

>Es geht ja auch nicht um super-komplexe Sachen, nur ein bischen hierarchische
>Struktur und Listen, das dürfte es auch schon sein.

Ich finde Deine Wünsche schon ein wenig komplex.
Nicht vom eigentlichen Inhalt her, sondern von
Deinen Automatisierungswünschen gesehen.

> > Anschließend: AppleScript-Programmierung zur Diagramm-Erzeugung.
> > Dann soll noch die Möglichkeit bestehen, Daten
> > wieder aus RT in XML zu schreiben, oder?
>
>Nö. Wozu auch.

Ich hatte das so verstanden, daß die von Menschen
bearbeiteten Daten wieder rausgeschrieben werden sollen.

Gruß
Stephan Will

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4603 On 5 Februar, 2006 17:49 Benedikt Quirmbach said,

Hallo,

jetzt muss ich ich auch mal einschalten:

Wenn ich das richtig verstehe, gibt es zwei Aufgaben:
1. Zahlenmaterial in ein RT-Dokument holen und daraus eine Infografik
machen
2. Textdaten in ein RT-Dokument holen und dann formatieren.

Zum Zahlenmaterial:
Du kannst unter Windows Daten per ODBC aus einer Datenquelle in ein
RT-Dokument holen und dort verarbeiten.
Welche Datentypen Du holen kannst, hängt davon ab, welchen ODBC-Treiber
du benutzt. Ich habe z.B. schon Daten aus Access und MySQL geholt. Es
geht definitiv auch mit CSV-Dateien. Möglicherweise gibt es auch einen
XML-Treiber, der mit Deinen Daten zurecht kommt. Diese Prozedur hat mit
RT nichts zu tun. Das passiert auf Betriebssystem-Ebene.
In RT brauchst Du dafür die Komponente RagTime Connect. Gibt's
kostenlos in Basis-Version...
Mit den Daten, die Du so geholt hast, kannst Du natürlich ein
Rechenblatt füllen, eine Text-Komponente oder eine Infografik. Du
kannst sogar Bilder u.ä. aus BLOB-Feldern einer Datenbank holen und in
das Dokument einbauen.

Zu den Texten:
Solange Du die Texte nicht weiter formatieren musst, geht das genau so,
wie oben beschrieben. Sind die Texte immer gleich strukturiert, kann
man sich sicher auch für eine Formatierung behelfen.
Z.B.:
Ein Datensatz enthält immer ein Feld mit Überschrift und eines mit
Fließtext. Dann kannst Du die Daten in ein Rechenblatt fließen lassen.
Eine Spalte für die Überschriften und eine für die Fließtexte. Beide
Spalten erhalten die passende Formatierung. Dann kannst Du die Texte
mit Formatierung per RT-Rechenblatt-Formel in eine Textkomponente
schreiben.
Was da geht, hängt sehr stark davon ab, was Du genau brauchst. Der
Teufel steckt hier im Detail...

Du kannst natürlich auch eine externe Textdatei haben, die Du in RT
importierst. Dabei muss eine Verbindung zwischen Deinem RT-Dokument und
der Textdatei bestehen bleiben (kannst Du beim Import einstellen). Die
Textdatei kann Texte in RTF-Format enthalten, die dann auch mit
Formaten importiert werden.
Hast Du beim Import die Verbindung zur Textdatei erhalten, kannst Du
auch nachträglich den Text in der Textdatei ändern. Die Änderungen
werden in RT übernommen. Dafür muss man in RT einen Befehl geben, auf
den ich gerade nicht komme. Wenn er mir einfällt, sag ich noch
Bescheid.

Diese Beschreibung gilt für Windows.
Am Mac kannst Du das selbe machen, außer ODBC. Da gibt es aber eine
ziemlich gute kostenpflichtige Datenbank-Anbindung (FileTime) an
FileMaker (Datenbank-Programm). Und Du kannst natürlich auch Deinen
ganz eigenen Datenimport in AppleScript schreiben, der dann leider
nicht unter Windows funktioniert...

Viele Grüße
Benedikt Quirmbach
_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists

Re: "Demo"-Projekt mit RagTime....

#4648 On 14 Februar, 2006 00:22 Wolfgang Keller said,

On Sun, 5 Feb 2006 17:49:20 +0100, Benedikt Quirmbach wrote
(in article ):

> Wenn ich das richtig verstehe, gibt es zwei Aufgaben:
> 1. Zahlenmaterial in ein RT-Dokument holen und daraus eine Infografik
> machen

Vorher erstmal Tabellen. Und dann die Graphiken. Und zwar etliche, sonst
bräuchte man das Ganze ja nicht zu automatisieren.

> 2. Textdaten in ein RT-Dokument holen und dann formatieren.

_Strukturierte_ Texte.

> In RT brauchst Du dafür die Komponente RagTime Connect. Gibt's
> kostenlos in Basis-Version...

Die zum Ausprobieren leider ziemlich uninteressant ist, denn ob eine Lösung
auch tatsächlich funktioniert, merkt man in der Praxis eben erst bei
nicht-lächerlichen Datenmengen.

> Solange Du die Texte nicht weiter formatieren musst,

Natürlich muß ich das.

> geht das genau so, wie oben beschrieben. Sind die Texte immer gleich
> strukturiert, kann man sich sicher auch für eine Formatierung behelfen.
> Z.B.: Ein Datensatz enthält immer ein Feld mit Überschrift und eines mit
> Fließtext. Dann kannst Du die Daten in ein Rechenblatt fließen lassen.
> Eine Spalte für die Überschriften und eine für die Fließtexte. Beide
> Spalten erhalten die passende Formatierung. Dann kannst Du die Texte mit
> Formatierung per RT-Rechenblatt-Formel in eine Textkomponente schreiben.

Hört sich recht aufwendig an für ein einfaches Mapping.

> Du kannst natürlich auch eine externe Textdatei haben, die Du in RT
> importierst. Dabei muss eine Verbindung zwischen Deinem RT-Dokument und
> der Textdatei bestehen bleiben (kannst Du beim Import einstellen). Die
> Textdatei kann Texte in RTF-Format enthalten, die dann auch mit
> Formaten importiert werden.

Es geht ja eben darum, daß der zu importierende Text zwar _Struktur-_, aber
eben gerade _keine_ _Formatierungs_informationen enthalten soll.

> Am Mac kannst Du das selbe machen, außer ODBC. Da gibt es aber eine
> ziemlich gute kostenpflichtige Datenbank-Anbindung (FileTime) an
> FileMaker (Datenbank-Programm).

Neenee, mit solchem Zeugs kann ich nix anfangen, es muß schon eine richtige
Datenbank sein, konkret Postgres.

MfG,

Wolfgang Keller

_________________________________________________
Die macnews.de Mailingliste Ragtime:
http://lists.macnews.de/cgi-bin//listinfo/ragtime

Neu: Das Mailinglistenarchiv unter
http://forum.macnews.de/lists