Ich lerne immer wieder neues durch deinen blog

wie kann ich unter linux ueber ssh ein verzeichnis eines entfernten rechners ins lokale dateisystem mounten? dafuer gibt es z.b. unter ubuntu das paket sshfs. einfach mal installieren (abhaengigkeiten werden aufgeloest):

sudo apt-get install sshfs

aus sicherheitsgruenden benoetigt man spezielle berechtigungen fuer das binary /bin/fusermount. man muss die user, die das verwenden duerfen der gruppe “fuse” hinzufuegen:

sudo localuser fuse

wenn man das fuer den aktuell angemeldeten user macht, muss man sich einmal ausloggen und wieder einloggen, damit das greift.

dann einfach ein lokales verzeichnis erstellen:

mkdir /home/localuser/remotefs

und mit diesem befehl das entfernte verzeichnis mounten (das ist eine zeile):

sshfs remoteuser@remotehostname:/home/remoteuser/remotedir
 /home/localuser/remotefs/

SELECT COUNT(*) FROM TABELLE

…was man dann fuer jede tabelle machen muss. schnell hat man sich einen cursor drumherum gebaut damit das fuer alle tabellen in einer datenbank macht.

-- BEISPIEL 1
 
DECLARE @TABLES TABLE (
	tablename	VARCHAR(255),
	rowcounter	INT
)
 
DECLARE @TABLE_NAME VARCHAR(255)
DECLARE @SQLSTATEMENT nvarchar(255)
DECLARE @x INT
 
DECLARE cur CURSOR FOR
	SELECT TABLE_NAME 
	FROM information_schema.TABLES 
	WHERE TABLE_TYPE = 'BASE TABLE'
OPEN cur
FETCH FROM cur INTO @TABLE_NAME
WHILE @@fetch_status = 0
BEGIN
	SET @SQLSTATEMENT = 
	 N'SELECT @x = COUNT(*) FROM ' + @TABLE_NAME
	EXEC sp_executesql
		@SQLSTATEMENT,
		N'@x int OUTPUT',
		@x OUTPUT
 
	INSERT INTO @TABLES (tablename, rowcounter) 
	VALUES (@TABLE_NAME, @x)
	FETCH FROM cur INTO @TABLE_NAME
END
CLOSE cur
DEALLOCATE cur
SELECT * FROM @TABLES ORDER BY tablename

das ist natuerlich viel code fuer das bischen abfrage. es geht naemlich auch kuerzer mit der (von microsoft undokumentierten) sql-server internen stored procedure sp_MSforeachtable

-- BEISPIEL 2
 
CREATE TABLE #TABLEROWCOUNT
(
 TABLENAME sysname,
 ROWCOUNTER INT
)
EXEC sp_MSforeachtable 
'INSERT #TABLEROWCOUNT (TABLENAME,ROWCOUNTER) 
SELECT ''?'',Count(*) from ?'
SELECT * FROM #TABLEROWCOUNT
DROP TABLE #TABLEROWCOUNT

schick ist das aber immer noch nicht. eleganter und performanter und ausfuehrlicher gehts mit einer (auch in sql server inegrierten) stored procedure namens sp_spaceused:

-- BEISPIEL 3
 
DECLARE @TABLES TABLE (
	tablename	VARCHAR(255),
	rowcounter	INT,
	reserved	VARCHAR(255),
	DATA		VARCHAR(255),
	index_size	VARCHAR(255),
	unused		VARCHAR(255)
)
 
DECLARE @TABLE_NAME VARCHAR(255)
DECLARE cur CURSOR FOR
	SELECT TABLE_NAME 
	FROM information_schema.TABLES 
	WHERE TABLE_TYPE = 'BASE TABLE'
OPEN cur
FETCH FROM cur INTO @TABLE_NAME
WHILE @@fetch_status = 0
BEGIN
	INSERT INTO @TABLES
	(tablename, rowcounter, reserved,
	DATA, index_size, unused)
	EXEC sp_spaceused @TABLE_NAME
	FETCH FROM cur INTO @TABLE_NAME
END
CLOSE cur
DEALLOCATE cur
SELECT * FROM @TABLES ORDER BY tablename

das schoenste und auch schnellste statement ist dieses hier (funktioniert erst ab sql server 2005):

-- BEISPIEL 4
-- zeigt alle user tables und deren zeilenanzahl der aktuellen 
-- datenbank. ohne "IS_MS_SHIPPED = 0" in der where 
-- klausel werden noch die system objekte angezeigt. 
 
SELECT T2.NAME, T3.ROW_COUNT 
FROM SYS.INDEXES T1 
INNER JOIN SYS.OBJECTS T2 ON T1.OBJECT_ID = T2.OBJECT_ID 
INNER JOIN SYS.DM_DB_PARTITION_STATS T3 ON 
T1.OBJECT_ID = T3.OBJECT_ID AND T1.INDEX_ID = T3.INDEX_ID
WHERE T1.INDEX_ID < 2 
AND T2.IS_MS_SHIPPED = 0 
ORDER BY T2.NAME

wenn man sich die performance der vier beispiele betrachtet wird schnell klar, welches man fuer groessere datenbanken nicht mehr gebrauchen kann. ich hatte eine datenbank zum “ausprobieren”, in der 475 millionen datensaetze auf 60 tabellen verteilt waren. das waren die laufzeiten in millisekunden:

BEISPIEL 1: 156183 ms ( ~ 2 minuten 60 sekunden)
BEISPIEL 2: 155573 ms ( ~ 2 minuten 59 sekunden)
BEISPIEL 3: 173 ms
BEISPIEL 4: 13 ms

ich denke, dass es zu den ergebnissen nicht viel zu sagen gibt.

mal so als gedaechtnisstuetze fuer mich und falls jemand auch mal so ein problem hat. ich musste dateien einer webpraesenz auf einen neuen server umziehen. das problem dabei war, dass manche schon in utf-8 abgespeichert waren und der rest in iso-8859-1. abhilfe schafft ein kleines bash scriptchen, welches man als “convert.sh” abspeichert:

#!/bin/sh
if [ `file $1|grep UTF-8|wc -l` = "0" ]; then
    # datei ist kein utf-8 -> auflisten
    echo $1 >> "kein_utf8.txt"
    # konvertieren
    iconv -f ISO-8859-1 -t UTF-8 "$1" -o "$1"_conv
    # original loeschen
    rm "$1"
    # konvertierte datei umbenennen
    mv "$1"_conv "$1"
    # falls das charset angegeben ist, dann ersetzen
    sed -i 's/charset=iso-8859-1/charset=utf-8/g' "$1"
else
    # datei ist bereits utf-8 -> auflisten
    echo $1 >> "ist_utf8.txt"
fi

sicherlich nicht das non plus ultra und noch verbesserungsfaehig, aber fuer meinen zweck hat es das getan. in der datei “kein_utf8.txt” werden die aufgelistet, die umgewandelt wurden und in der “ist_utf8.txt” nur die, die schon utf-8 encoding hatten.

diese datei ruft man dann einfach in dem verzeichnis auf, von dem aus man abwaerts die z.b. html dateien konvertieren will:

find . -name "*.html" -print | xargs -i -t ./convert.sh '{}'

aufgrund der wetterlage war ich ja schonmal froh, dass mein flugzeug ueberhaupt flog und mich heil nach berlin brachte. waehrend des fluges servierte die (wie immer) nette crew von air berlin lecker gluehwein.

weniger lustig war dann die taxi knappheit auf dem flughafen tegel. die leute haben sich fast gepruegelt, um mit einem taxi der kaelte entfliehen zu koennen, denn die schlange am taxistand wurde immer laenger statt kuerzer. ich konnte nach 20 minuten eines ergattern, das aber komischerweise keiner mit mir teilen wollte. eigentlich dachte ich, dass nur die stadt offenbach es nicht geregelt bekommen mit dem streuen und raeumen, aber in berlin ists noch schlechter. genauso hat es fuer mich den anschein, dass die regelung, dass man den schnee vor seiner haustuer wegraeumen muss, in berlin anscheinend nicht gilt, oder sich zumindest niemand daran haelt.

mein hotel war ok fuer den preis. modern, aber sehr spartanisch. fruehstueck bis um 11 uhr, 24h besetzte rezeption, getraenke und cafe-bar. nur die heizung in meinem zimmer wollte nicht funktionieren. mitten in der nacht habe ich dann aber anstandslos ein anderes bekommen.

eigentlich mehr als gedankenstuetze fuer mich gedacht, aber vielleicht findet ja jemand in der folgenden aufstellung was interessantes. die aufzeichnungen zu den vortraegen werden hoffentlich in ein paar tagen online sein.

am tag 1 des 27c3 habe ich mir in der zeit von 12:00 bis 22:45 vortraege und diskussionen zu diesen themen angesehen:

• From robot to robot – Restoring creativity in school pupils using robotics

• Von Zensursula über Censilia hin zum Kindernet – Jahresrückblick rund um Internet-Sperren, Sendezeitbegrenzungen im Internet und vermeintlichen Jugendschutz

• Whistleblowing – Licht ins Dunkel!

• Friede sei mit Euren Daten – Ein datenschutzrechtlicher Ausflug in ein kirchliches Parelleluniversum

• Netzneutralität und QoS – ein Widerspruch? – Fakten auf den Tisch war eine podiumsdiskussion und wurde live vom DLF im radio uebertragen. sehr sehens bzw. hoerenswert.

• “Die gesamte Technik ist sicher” – Besitz und Wissen: Relay-Angriffe auf den neuen Personalausweis. nachdem wir ja lle wissen, dass die basisleser sehr leicht angreifbar sind, haben ein paar studenten gezeigt, dass es mit den “sicheren” standard- und komfortesern auch nicht weit her ist.

tag 2: 11:30 bis 00:00 uhr

• Netzmedienrecht, Lobbyismus und Korruption – Wie wirkt die Lobby von Medienkonzernen? … ist leider aufgrund des fernbleibens des vortragenden ausgefallen. als ersatz ist der eine mann vom whistleblowing vortrag eingesprungen und hat seine ausfuehrungen vom vortag zu ende gebracht.

• Lying To The Neighbours – Nasty effects with tracker-less BitTorrent … konnte ich mir nicht zu ende ansehen. der votrag haette besser wie angekuendigt in deutscher sprache stattfinden sollen. das englisch des referenten war sehr anstrengend.

• Logikschaltungen ohne Elektronik – logische Schaltungen mit Pneumatik

• The Baseband Apocalypse – all your baseband are belong to us

• The importance of resisting Excessive Government Surveillance – Join me in exposing and challenging the constant violations of our right to privacy

zu sehen gabs wie immer tolle und nicht tolle sachen:

tag 3: 11:30 bis 23:00 uhr

• CCC-Jahresrückblick 2010

• Radio der Zukunft – Was kommt nach dem analogen Radio? auch wieder live uebertragen im dlf oder irgend sowas in der art.

• IMMI, from concept to reality – How far can wie bring the Icelandic Modern Media Initiative

• Your Infrastructure Will Kill You …hab ich nur angerissen. komisches amerikanisches geschwaetz.

• Chip and PIN is broken – Vulnerabilities in the EMV Protocol …kann ich nicht viel dazu sagen, denn zu beginn des vortrages habe ich den saal verlassen. das ding war gestopft voll, weil alle leute einen platz fuer die folgeveranstaltung (fefe’s und frank’s fnord jahresrueckblick) ergattern wollten. die auf dem boden sitzenden wurden aufgefordert, sich doch bitte hin zu stellen, damit mehr leute in den saal reinpassen. das war mir dann echt zu doof und ich bin gegangen. zurueck im hotel konnte ich gerade noch die letzten paar minuten davon per umts und livestrem verfolgen. aber eigentlich gings mir ja auch um den naechsten vortrag:

• Fnord Jahresrückblick 2010 – von Atomausstieg bis Zwangsintegration … wie immer lustig und quasi pfichtprogramm. das schauen des streams im hotelzimmer war trotz vorhandenem schoppen nicht sehr entspannend, da es alle paar minuten gestockt hat. nach zwanzig minuten bin ich dann auf den stream “slides only” mit ton umgestiegen. das hat dann besser funktioniert.

tag 3: 11:30 bis 19:00 uhr

• OMG WTF PDF – What you didn’t know about Acrobat …warum man mit PDFs vorsichtig sein muss.

• Ich sehe nicht, dass wir nicht zustimmen werden – Die Sprache des politischen Verrats und seiner Rechtfertigung

• How the Internet sees you – demonstrating what activities most ISPs see you doing on the Internet

• Security Nightmares… wie jedes jahr pflichtprogramm!

wenn die videos der veranstaltung online sind, werde ich zuhause ein paar vortraege nachholen. z.b.:

• High-speed high-security cryptography: encrypting and authenticating the whole Internet (der artikel bei heise hat mich erst richtig neugierig gemacht.)

• Adventures in analyzing Stuxnet (oder heise)

• …und nich ein paar der vielen votraege ueber GSM. nicht, dass ich davon ahnung haette… ich bin aber neugierig, was da geht und wo es hin geht.

abschliessend noch ein paar allgemeine worte (aus der high and wide perspektive). seit ein paar jahren steht ja schon die diskussion im raum, dass der congress in einer anderen location stattfinden koennte/sollte/muesste, da das bcc aus allen naehten platzt. dieses jahr gab es erstmals die karten im vorverkauf. gefuehlt waren weniger leute da, wobei ich mich da auch taeuschen koennte.

auf jeden fall hat sich der ganze congress geaendert im vergleich zu den letzten acht jahren, die ich (bis auf ein mal) da war. bei meinen ersten besuchen herrschte echt noch chaos. leute lagen einfach mit schlafsaecken in der ecke oder unter der treppe. ueberall wurde geraucht, so dass es teilweise schon eklig war. waehrend den vortraegen lagen und sassen die leute in den gaengen rum. muellberge stapelten sich.

heute sieht das anders aus. alles laeuft geordnet ab. die saeaele haben (durch “ordner” gesteuert) festgelegte ein- und ausgaenge. die gaenge und ausgaenge muessen unbedingt freigehalten werden. die leute wurden aufgefordert, ihren muell ordnungsgemaess zu entsorgen. (frueher ist niemand ueber die muellberge gestolpert, aber heute gibts schon schwere unfaelle, wenn eine flasche auf dem boden rumliegt). zwischen den vortraegen gibt es animateuere pausenclowns die das publikum bei laune halten.

wie soll ich sagen… es ist (so scheint es zumindest) professioneller geworden. mich persoenlich nervten ein bischen die “engel”, die einem staendig irgendwas vorschreiben oder verbieten wollen bzw. muessen. klar, alles nachvollziehbar aus sicherheitsgruenden usw. die ganze veranstaltung ist nicht mehr so “authentisch” wie frueher. den permanenten schweissgeruch vermisse ich nicht, aber wenn leute anzug tragen, nur um irgendwas an ihrem image zu aendern oder cool auszusehen, finde ich das auch albern.

UPDATE: das mit den anzuegen hatte wohl einen hintergrund

natuerlich ist das nicht so einfach, wie man sich das vorstellt. vor allem deswegen, weil es manche webseitenbetreiber es einfach nicht hinbekommen, dass die ssl seite die gleiche ist wie die ohne ssl. bei groesseren systemen steigt natuerlich die komplexitaet enorm. siehe facebook… ein zitat von heise.de:

“Entschärft wurde die Facebook-Regel – in der bisherigen Version waren einige Facebook-Apps aufgrund eines Zertifikatsfehlers nicht nutzbar. Wer seine Facebook-Cookies vor Diebstahl mit Tools wie Firesheep schützen will – und auf die Apps verzichten kann – muss nach der Installation des Add-ons nun den erweiterten Regelsatz Facebook+ aktivieren. Wer hingegen den Facebook-Chat nutzen will, muss bei der Seite auf sämtliche Schutzmaßnahmen verzichten und alle Facebook-Regeln deaktivieren.”

und den faq steht nochmal beschrieben, warum es nicht so einfach ist, wie ich mir das (ohne drueber nachzudenken) vorgestellt hatte:

“There are several problems with the idea of trying to automatically detect HTTPS on every site. Firstly, there is no guarantee that sites are going to give the same response via HTTPS that they give via HTTP. As of 2010, LiveJournal is a good example of this problem: compare these HTTP and HTTPS responses. Secondly, we don’t think it’s possible to test for HTTPS in real time without introducing security vulnerabilities (What should the extension do if the HTTPS connection attempt fails? Falling back to insecure HTTP isn’t safe). Lastly, in some cases, HTTPS Everywhere has to perform quite complicated transformations on URIs — for example the Wikipedia rule turns an address like http://en.wikipedia.org/wiki/World_Wide_Web into one like https://secure.wikimedia.org/wikipedia/en/wiki/World_Wide_Web.”

also ist es nun erstmal so, dass dieses addon nur die webseiten bedienen kann, die es auch von haus aus kennt. mag sein, dass da fuer viele was dabei ist, aber die seiten daraus, die ich persoenlich nutze, kann ich an einer hand abzaehlen:

wer will, kann sich eigene rulesets bauen und hinzufuegen. wie das geht steht hier geschrieben: https://www.eff.org/https-everywhere/rulesets.

fuer diese seite hier hab ichs mal gemacht und abgespeichert als sdvc.xml im verzeichnis “HTTPSEverywhereUserRules” unterhalb des firefox profile verzeichnises:

<ruleset name="sd.vc">
  <target host="ww.sd.vc" />
  <target host="www.sd.vc" />
  <rule from="^http://(ww?\.)?sd\.vc/" to="https://ww.sd.vc/"/>
</ruleset>

im screenshot rechts unten sieht man mein beispiel “sd.vc”. das kleine, aber feine plugin sollte aber nicht “https-everywhere” heissen sondern “https-somewhere” oder aehnlich… weil everywhere ist anders…

das an sich geht ja ganz easy:

ww:~# a2enmod deflate
Enabling module deflate.
Run '/etc/init.d/apache2 restart' to activate new configuration!

damit diverse alte browser noch zurechtkommen, habe ich die datei /etc/apache2/mods-available/deflate.conf ergaenzt um zeilen 3 bis 5:

1
2
3
4
5
6

<IfModule mod_deflate.c>
  AddOutputFilterByType DEFLATE text/html text/plain text/xml
  BrowserMatch ^Mozilla/4 gzip-only-text/html
  BrowserMatch ^Mozilla/4\.0[678] no-gzip
  BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
</IfModule>

…und am ende der .htaccess datei im documentroot das hinzugefuegt:

<FilesMatch "\.(js|css|html|htm|php|xml)$">
  SetOutputFilter DEFLATE
</FilesMatch>

hier gibts eine seite, mit der man dann ausprobieren kann, ob die komprimierung wie gewuenscht funktioniert. so sieht das ergebnis aus:

das ist doch schon mal ordentlich. um dann noch etwas bandbreite zu “sparen” habe ich ein paar bots per .htaccess datei ausgesperrt. die stellen zwar die anfrage, aber bekommen nur eine fehlermeldung zurueck. die hier angezeigte .htaccess ist stark verkuerzt. die komplette version gibts als download

SetEnvIfNoCase user-Agent "^AESOP_com_SpiderMan" bad_bot
SetEnvIfNoCase user-Agent "^Alexibot" bad_bot
SetEnvIfNoCase user-Agent "Anonymouse.org" bad_bot
SetEnvIfNoCase user-Agent "^asterias" bad_bot
SetEnvIfNoCase user-Agent "^attach" bad_bot
SetEnvIfNoCase user-Agent "^BackDoorBot" bad_bot
[...]
<Files *>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Files>

die liste mit den bad bots habe ich mir zusammengegoogelt. zum testen hab ich einfach mal den safari eingetragen. so wuerde das dann fuer einen bot “aussehen”, der in der .htaccess gelistet ist:

und im apache error-logfile steht dann:

[Fri Nov 12 09:26:57 2010] [error] [client 85.xxx.xx.xxx] 
client denied by server configuration: /xxxxxxx/sd.vc/wp/

dabei kam mir noch das “^” unter. laut dokumentation dient es der negierung: “Any single character not within the specified range”. was dann in der praxis wie beim vorangegangenen beispiel wieder nicht mit den kleinbuchstaben “[a-z]” funktioniert:

der vollstaendigkeit halber noch der code zum ergaenzen des ersten beispiels:

[...]
CASE
 WHEN (wert COLLATE Latin1_General_CS_AS LIKE '[^a-z]') THEN @x
  ELSE '' END AS '[^a-z]',
CASE
 WHEN (wert COLLATE Latin1_General_CS_AS LIKE '[^A-Z]') THEN @x
  ELSE '' END AS '[^A-Z]',
CASE
 WHEN (wert COLLATE Latin1_General_CS_AS LIKE '[^0-9]') THEN @x
  ELSE '' END AS '[^0-9]'
[...]