Hallo zusammen,

ich habe folgende Ausgangssituation: Dateien werden per FTP auf meinen Rechner geladen. Der Eingangsordner soll per Folder Action überwacht werden, und die Dateien anhand der ersten (eindeutigen) Zeichen des Dateinamens in bestimmte Ordner auf einer anderen Festplatte verschoben werden.

Zum Testen arbeite ich mit Dateien, deren Namen sich aufgrund der ersten Zeichen in vier Gruppen aufteilen lassen. Ich habe für den Eingangsordner dementsprechend vier Folder Actions angelegt. "Filter Finder Items", anschließend "Move Finder Items".

Wenn ich Dateien in den Eingangsordner kopiere, funktioniert die Folder Action manchmal, aber oft auch nicht. Dabei habe ich es sowohl mit einzelnen Dateien getestet, mehreren und auch ca. 100 Dateien auf einmal. Sowohl Kopieren im Finder, als auch Upload per FTP. Es ist auch vorgekommen, dass Dateien, die zunächst nicht verschoben wurden, nachträglich korrekt behandelt wurden, wenn ich z.B. nach einer Minute eine neue Datei in dem Eingangsordner kopiert habe. Es ist auch schon passiert, dass die neue Datei nicht verschoben wurde, "alte" Dateien aber sehr wohl. Oder dass von ca. 100 hochgeladenen Dateien 30 verschoben werden, der Rest aber nicht. Manchmal passiert aber auch gar nichts.

Ich habe festgestellt, dass das Verschieben meistens dann funktioniert, wenn ich z.B. eine halbe Minute oder länger warte, bis ich neue Dateien hineinkopiere.

Ich kann einfach kein eindeutiges Muster feststellen, wann es funktioniert und wann nicht. In der Praxis geht es übrigens um nur wenige Kilobyte große RTF-Dateien, die aber in 2- oder 3-stelliger Anzahl Schlag auf Schlag hochgeladen werden.

Ist hier jemand "Automator-fit" und hat eine Erklärung für dieses merkwürdige Verhalten? Oder gar eine Lösung…? Ich habe jetzt stundenlang gegoogelt und alles Mögliche zu Automator und Folder Actions gefunden, aber nirgendwo etwas von dieser Problematik bzw. Unzuverlässigkeit gefunden.

Antwort auf [ Ralf Hobirk ]

Ist hier jemand "Automator-fit" und hat eine Erklärung für dieses merkwürdige Verhalten?

Automator fit nicht wirklich, aber im Prinzip genau aus diesem Grund.
Was diesen ganzen Apple’schen Automatiken fehlt, ist eine Möglichkeit gezielt bei bestimmten Events in Aktion zu treten und nur dann.

Gerade wenn übers Internet Daten eher gemütlich eintrudeln, krankt das ganze daran, dass im einen Moment eine Datei zwar als neu hinzugekommen erkannt wird, aber eben noch nicht fertig eingetrudelt ist, im nächsten Moment ist sie zwar komplett, aber nicht mehr neu…

Das sind die Momente, wo Helios seine Stärken ausspielt, da dort jegliche Aktion im Finder ein Event triggern kann. Also wenn eine Datei eintrudelt wird eben erst in dem Moment in dem Sie komplett ist, ein weiterer Prozess angestossen, desweiteren können temporäre Dateien wie sie oft beim Kopieren für die Zeit der Dateiübertragung entstehen, gefiltert werden, damit sie nicht mit automatisiert werden.

An deiner Stelle würde ich dafür sorgen, dass die Datenanlieferer ihre Daten gleich passend ablegen, das erspart dir die jetzigen Probleme.

Hallo Thomas,

Antwort auf:

An deiner Stelle würde ich dafür sorgen, dass die Datenanlieferer ihre Daten gleich passend ablegen

Genau das ist das Problem. Die RTFs werden aus XML-Daten aus einem Content Management System heraus serverseitig generiert und automatisch auf meinen Server geladen.

Die Dateinamen sind im Grunde EDV-Codes und anhand der ersten beiden Stellen im Code will ich die RTFs dann an die "richtigen" Stellen verschieben. Es handelt sich um Beschreibungen für Reisekataloge, die nach Produktart und Region sortiert werden sollen.

Der Hintergrund des Ganzen ist, dass diese RTFs mit InDesign-Dokumenten lokal auf meinem Rechner verknüpft sind. Ich hätte somit die Möglichkeit, kurz vor der Ausgabe der Druck-PDFs einfach einen entsprechenden Preflight über die Buchfunktion laufen zu lassen und gezielt die Dokumente mit veränderten Links zu öffnen und zu aktualisieren.

Mein Kunde ändert im Moment sein System der Textpflege, und ich will natürlich auch in meinem Workflow möglichst davon profitieren… ;-)

Hallo,

als ich damit rumexperimentiert habe bin ich ebenfalls auf die von Thomas aufgezählten Probleme gestoßen, die einen produktiven, zuverlässigen Einsatz verhinderten. In meinen Bookmarks habe ich noch das hier gefunden:
http://www.automatedworkflows.com/..._actions/finder.html wobei der letzte Eintrag evtl. für Dich interssant sein könnte.

Ähnlich wie für Applescript gibt es auch für Automator unzählige Erweiterungen, z.B: http://mac.softpedia.com/...Actions---Workflows/

Wenn Windows ein Thema ist (evtl. per Virtualisierung bei Dir) dann würde man sicherlich einige günstige Sharewareproggis finden. Google-Stichworte könnten "folder-action" oder "folder-automation" etc. sein...

Gruß

Antwort auf [ Ralf Hobirk ]

Genau das ist das Problem. Die RTFs werden aus XML-Daten aus einem Content Management System heraus serverseitig generiert und automatisch auf meinen Server geladen.

Nein das ist kein Problem, das ist ein Segen.

Wenn das automatisch läuft, spricht doch ncihts dagegen die ersten Stellen der Entstehenden Daten auf Versenderseite dazu zu nutzen, einen speziellen FTP Zugang zu verwenden, der dann bei dir gleich im richtigen Verzeichnis landet.

Also werden alle Datein die z.B. an den ersten 2 Stellen dem Kriterium >00 und <30 entsprechen auf den Account unter30 geladen, der bei dir im Ordner 00- landet. RTF Dateien die an den ersten 2 Stellen dem Kriterium größergleich 30 und <50 entsprechen werden mit dem ftp-Account zwischen30und50 übertragen, dessen Zielverzeichnis bei dir in 300- landet. Für die nächsten beiden Namensbereiche entsprechend.

Hallo Thomas,

das hört sich plausibel an. Ich werde mit dem Programmierer des Kunden sprechen, ob er Code-abhängig die entsprechenden FTP-Accounts hinterlegen kann. Und ob es auch möglich ist, bereits vorhandene Dateien automatisch zu überschreiben, denn das wird nach dem ersten Upload ständig nötig sein.

Ich glaube übrigens nicht, dass die Probleme bei den Folder Actions verursacht werden, weil die Daten "allmählich eintrudeln". Die RTFs sind maximal 5 kB "groß", und beim Kopieren im Finder entstehen die Probleme ja auch.

@rohrfrei:
Danke für die Links, ich suche noch, ob eventuell etwas Brauchbares dabei ist.

Ich habe die Sache eben auch nochmal im Automator-Forum bei macscripter.net gepostet. Mal sehen, ob auf der Seite etwas herauskommt…

Hi Ralf,

ein Automator Crack bin ich leider auch nicht aber mich hat die Aufgabenstellung interessiert und habe schon ein Code Schnipsel gefunden, was dich weiter bringen könnte:

Code

property DELAY_TIME_SECONDS : 5 -- How long to wait between checking file size. 
 
on adding folder items to thisFolder after receiving theItems 
	repeat with f in theItems 
		set oldSize to 0 
		set newSize to -1 
		-- When newSize equals oldSize, it means the copy is complete because the size hasn't changed. 
		repeat while newSize is not equal to oldSize 
			-- Get the file size. 
			set oldSize to size of (info for f) 
			delay DELAY_TIME_SECONDS 
			-- Sample the size again after delay for comparison. 
			set newSize to size of (info for f) 
		end repeat 

Hier wird im Abstand von fünf Sekunden die Dateigröße abgefragt und rotierend in zwei Variablen geschrieben, die miteinander verglichen werden. Die Schleife läuft solange beide Variablen (oldSize und newSize) unterschiedlich sind. Wenn beide Variablen gleich sind, wird davon ausgegangen, dass der Upload fertig ist und im Anschluss daran kann dein Skript laufen, welches die Dateien dann passend verschiebt.

Der "info for" Befehl ist mittlerweile aber veraltet, steht in meinen Büchern, wird aber in Leopard noch unterstützt, ob in Snow Leopard auch noch, müsste man herausfinden. Ansonsten sollte man statt "info for" die Dateieigenschaften über "System Events" abrufen, auch hier heißt das zugehörige Property "size" bei Dateien und bei Verzeichnissen "physical size" (sofern ich das richtig interpretiert habe).

Ich hab jetzt zwar verstanden, was der og Code macht und wie er eingesetzt wird aber um das auf die neuere Syntax umzuschreiben muss ich erst mal eine Weile nach Beispielen suchen gehen aber vielleicht kriegen wir es ja zusammen hin... ;-)

Bye Tom

Hi Tom,

erstmal vielen Dank für deine Mühe.

Ich wollte deinen Code-Schnipsel im Apple Script Editor als Script speichern, bekomme aber folgende Fehlermeldung:

Zitat

Syntax Error
Expected end of line, etc. but found end of script.

Offensichtlich fehlt mir etwas, um daraus ein "gültiges" Script machen zu können.

Andererseits habe ich unter einem der von Rohrfrei weiter oben genannten Links eine Automator Action gefunden, die ähnliches zu tun scheint wie dein Code. Die Erklärung dieser Action lautet wie folgt:

Zitat

Automator action that waits for all file transfer processes to end
Wait for Files to Copy is a free Automator action that will wait for the files passed to it from the previous action to complete their transfer or copy process. &#8232;&#8232;You can add the Wait for Files to Copy Automator action to the beginning of a workflow saved as a folder action whose receiving items will be from remote servers or mounted volumes.&#8232;&#8232;Enter a comma-delimited list of the file types to track, and the maximum number of seconds this action should wait for each item to finish being added to the attached folder. Items exceeding this amount will be ignored by this action.

Ich habe diese Action an den Anfang meiner Folder Action gestellt und das Timeout mit 10 Sekunden definiert. Ich habe dann im Abstand von ca. 2 Sekunden 5 Dateien einzeln in den betreffenden Ordner kopiert. Die ersten 3 Dateien wurden verschoben wie gewünscht, die letzten beiden Dateien nicht.

Ich habe inzwischen das Gefühl, dass die Folder Actions nach dem Auslösen recht lange aktiv bleiben – gefühlte ca. 20 Sekunden – bis sie sich wirklich beenden. Man bemerkt dies auch im Finder, mit einem kurzen "Flackern". Desweiteren vermute ich, dass die Folder Action keine neuen Dateien "akzeptiert", bevor sie sich nicht beendet hat. Und danach sind die Dateien einfach nicht mehr "neu" und werden ignoriert.

-----

Ich habe jetzt Thomas' (Richard) Idee aufgegriffen, dass die Daten kundenseitig direkt an den richtigen Platz geladen werden. Nach einem Gespräch mit dem Programmierer steht fest, dass es funktioniert. Und zwar mit einem einzigen FTP-Account. Den Kodierungen der Dateinamen werden Pfade zum entsprechenden Subfolder zugeordnet und die Dateien landen somit direkt an der richtigen Stelle im Job.

Mein Problem ist somit gelöst, wenn auch mit einem völlig anderen Ansatz als ursprünglich geplant… ;-)

Servus Ralf,


man muss natürlich noch die eigentliche Aktion des Verschiebens der Dateien in das Skript integrieren und die Tags wieder alle schließen. Ich habe hier mal nur mal exemplarisch die Datei in einen anderen Ordner verschoben:

Code

property DELAY_TIME_SECONDS : 5 -- How long to wait between checking file size. 
 
on adding folder items to thisFolder after receiving theItems 
	repeat with f in theItems 
		set oldSize to 0 
		set newSize to -1 
		-- When newSize equals oldSize, it means the copy is complete because the size hasn't changed. 
		repeat while newSize is not equal to oldSize 
			-- Get the file size. 
			set oldSize to size of (info for f) 
			delay DELAY_TIME_SECONDS 
			-- Sample the size again after delay for comparison. 
			set newSize to size of (info for f) 
		end repeat 
		tell application "Finder" 
			move f to "Macintosh HD:Users:pronto:Desktop:A" 
		end tell 
	end repeat 
end adding folder items to 

Aber du hast recht, es besteht immer noch das Problem, dass bei zu vielen Dateien auf einmal nicht alle Dateien berücksichtigt werden. Man könnte jetzt sicherlich hergehen und irgendeine Routine einbauen, welche vor dem Skriptende noch mal ein paar Sekunden wartet und das Skript noch einmal laufen lässt um eventuelle Nachzügler noch abzuarbeiten aber da du eine Lösung für dein Problem gefunden hast und ich mit diesem Workflow eh nix anfangen kann, können wir das hier mal so für die stehen lassen, die es eventuell doch noch brauchen können. Sollen die dann die letzten Probleme lösen ;-)

Ich dachte zuerst, dass ich das eventuell für uns irgendwie verwursteln kann, weil unsere Leute gerne wissen würden, wann eine Datei auf unserem FTP Server aufschlägt und auch hier besteht das Problem, dass man warten muss, bis die Datei fertig hoch geladen ist. Aber unser FTP Server läuft auf Linux und da gibt es keine Hotfolder; zumindest sind mir open source keine bekannt.

Mein erster Gedanke ging auch eigentlich in eine andere Richtung, so wollte ich zuerst versuchen das FTP-Logfile nach fertiggestellten Uploads absuchen lassen um daraus dann eine Aktion zu konstruieren aber dann habe ich mich irgendwie auf die Applescript Geschichte festgelegt. Wir haben in unserem FTP Server bereits so eine Routine um Brute Force Attacken abzuwehren[1], von denen wir sonst reichlich hätten und was eventuell auch für dich ein Thema sein könnte, wenn dein FTP Server über das Internet zugänglich ist und keine host_access Routinen implementiert sind. Schau dir mal deine Logfiles an, evtl. besteht da Handlungsbedarf.

Ich habe die Aufgabenstellung auch im Apple Forum diskutiert und auch hier wurde ich darauf aufmerksam gemacht, dass bei der Applescript Folder Aktion Probleme mit der Synchronität zu erwarten sind, was wir ja beide nachvollziehen konnten.

[1] http://wiki.prontosystems.org/tux/blockhosts
Bye Tom & Schöne Feiertage

Hi Tom,

danke für deine Ausführungen.

Antwort auf:

Ich habe die Aufgabenstellung auch im Apple Forum diskutiert und auch hier wurde ich darauf aufmerksam gemacht, dass bei der Applescript Folder Aktion Probleme mit der Synchronität zu erwarten sind, was wir ja beide nachvollziehen konnten.

Mit anderen Worten: Das Problem wurde bestätigt.

Antwort auf:

Wir haben in unserem FTP Server bereits so eine Routine um Brute Force Attacken abzuwehren[1], von denen wir sonst reichlich hätten und was eventuell auch für dich ein Thema sein könnte, wenn dein FTP Server über das Internet zugänglich ist und keine host_access Routinen implementiert sind. Schau dir mal deine Logfiles an, evtl. besteht da Handlungsbedarf.

Hmmm… bis jetzt ist in den Log Files alles clean. Andererseits scheint die Server-Applikation selbst auf solche Attacken zu reagieren.:

Zitat

Detect Hack Attempts by IP Address, Block after 10 Attempts within 30 Seconds.
Detect Password Guessing, Disable User Accounts after 3 failed Login Attempts.

Ich werde die Log Files aber im Auge behalten…

Frohe Ostern und viele bunte Eier ;-)

Antwort auf [ Ralf Hobirk ]

danke für deine Ausführungen.

Antwort auf:

Ich habe die Aufgabenstellung auch im Apple Forum diskutiert und auch hier wurde ich darauf aufmerksam gemacht, dass bei der Applescript Folder Aktion Probleme mit der Synchronität zu erwarten sind, was wir ja beide nachvollziehen konnten.

Mit anderen Worten: Das Problem wurde bestätigt.

Was das ignorieren einzelner Dateien betrifft, Ja.

Antwort auf:

Antwort auf:

Wir haben in unserem FTP Server bereits so eine Routine um Brute Force Attacken abzuwehren[1], von denen wir sonst reichlich hätten und was eventuell auch für dich ein Thema sein könnte, wenn dein FTP Server über das Internet zugänglich ist und keine host_access Routinen implementiert sind. Schau dir mal deine Logfiles an, evtl. besteht da Handlungsbedarf.

Hmmm… bis jetzt ist in den Log Files alles clean. Andererseits scheint die Server-Applikation selbst auf solche Attacken zu reagieren.:

Zitat

Detect Hack Attempts by IP Address, Block after 10 Attempts within 30 Seconds.
Detect Password Guessing, Disable User Accounts after 3 failed Login Attempts.

Das liest sich viel versprechend. Was für einen FTP Server setzt du da ein?

Antwort auf:

Ich werde die Log Files aber im Auge behalten…

Ja, macht bei solchen öffentlich zugänglichen Diensten eigentlich immer Sinn.

Bye Tom

Antwort auf [ pronto ]

Was für einen FTP Server setzt du da ein?

http://www.maxum.com/Rumpus/

Hallo,

ich könnte mir gut vorstellen, dass es mit einem stay open script mit on idle funktioniert ...

Das Auflisten und Bewegen der Dateien würde ich dann auch lieber mit Shell-Befehlen machen ...

nur als Anregung :)

Frohe Ostern!

Hans-Gerd

Hallo Hans-Gerd,

danke für die Anregung. Bei Scripts und Shell-Befehlen muss ich jedoch völlig passen… :-(

Auch wenn ich das Problem jetzt völlig anders gelöst habe, würde mich schon ein zuverlässiger Weg interessieren, das Verschieben lokal zu realisieren.

Dir auch frohe Ostern!

Hallo,

vielleicht hilft Dir auch Hazel weiter..
http://www.noodlesoft.com/hazel.php