New JPEG settings:
[pr0n] / perl / Sesse / pr0n / Common.pm
1 package Sesse::pr0n::Common;
2 use strict;
3 use warnings;
4
5 use Sesse::pr0n::Overload;
6 use Sesse::pr0n::QscaleProxy;
7 use Sesse::pr0n::Templates;
8
9 use Apache2::RequestRec (); # for $r->content_type
10 use Apache2::RequestIO ();  # for $r->print
11 use Apache2::Const -compile => ':common';
12 use Apache2::Log;
13 use ModPerl::Util;
14
15 use Carp;
16 use Encode;
17 use DBI;
18 use DBD::Pg;
19 use Image::Magick;
20 use POSIX;
21 use Digest::MD5;
22 use Digest::SHA1;
23 use Digest::HMAC_SHA1;
24 use MIME::Base64;
25 use MIME::Types;
26 use LWP::Simple;
27 # use Image::Info;
28 use Image::ExifTool;
29 use HTML::Entities;
30 use URI::Escape;
31 use File::Basename;
32
33 BEGIN {
34         use Exporter ();
35         our ($VERSION, @ISA, @EXPORT, @EXPORT_OK, %EXPORT_TAGS);
36
37         use Sesse::pr0n::Config;
38         eval {
39                 require Sesse::pr0n::Config_local;
40         };
41
42         $VERSION     = "v2.70";
43         @ISA         = qw(Exporter);
44         @EXPORT      = qw(&error &dberror);
45         %EXPORT_TAGS = qw();
46         @EXPORT_OK   = qw(&error &dberror);
47
48         our $dbh = DBI->connect("dbi:Pg:dbname=pr0n;host=" . $Sesse::pr0n::Config::db_host,
49                 $Sesse::pr0n::Config::db_username, $Sesse::pr0n::Config::db_password)
50                 or die "Couldn't connect to PostgreSQL database: " . DBI->errstr;
51         our $mimetypes = new MIME::Types;
52         
53         Apache2::ServerUtil->server->log_error("Initializing pr0n $VERSION");
54 }
55 END {
56         our $dbh;
57         $dbh->disconnect;
58 }
59
60 our ($dbh, $mimetypes);
61
62 sub error {
63         my ($r,$err,$status,$title) = @_;
64
65         if (!defined($status) || !defined($title)) {
66                 $status = 500;
67                 $title = "Internal server error";
68         }
69         
70         $r->content_type('text/html; charset=utf-8');
71         $r->status($status);
72
73         header($r, $title);
74         $r->print("    <p>Error: $err</p>\n");
75         footer($r);
76
77         $r->log->error($err);
78         $r->log->error("Stack trace follows: " . Carp::longmess());
79
80         ModPerl::Util::exit();
81 }
82
83 sub dberror {
84         my ($r,$err) = @_;
85         error($r, "$err (DB error: " . $dbh->errstr . ")");
86 }
87
88 sub header {
89         my ($r,$title) = @_;
90
91         $r->content_type("text/html; charset=utf-8");
92
93         # Fetch quote if we're itk-bilder.samfundet.no
94         my $quote = "";
95         if ($r->get_server_name eq 'itk-bilder.samfundet.no') {
96                 $quote = LWP::Simple::get("http://itk.samfundet.no/include/quotes.cli.php");
97                 $quote = "Error: Could not fetch quotes." if (!defined($quote));
98         }
99         Sesse::pr0n::Templates::print_template($r, "header", { title => $title, quotes => Encode::decode_utf8($quote) });
100 }
101
102 sub footer {
103         my ($r) = @_;
104         Sesse::pr0n::Templates::print_template($r, "footer",
105                 { version => $Sesse::pr0n::Common::VERSION });
106 }
107
108 sub scale_aspect {
109         my ($width, $height, $thumbxres, $thumbyres) = @_;
110
111         unless ($thumbxres >= $width &&
112                 $thumbyres >= $height) {
113                 my $sfh = $width / $thumbxres;
114                 my $sfv = $height / $thumbyres;
115                 if ($sfh > $sfv) {
116                         $width  /= $sfh;
117                         $height /= $sfh;
118                 } else {
119                         $width  /= $sfv;
120                         $height /= $sfv;
121                 }
122                 $width = POSIX::floor($width);
123                 $height = POSIX::floor($height);
124         }
125
126         return ($width, $height);
127 }
128
129 sub get_query_string {
130         my ($param, $defparam) = @_;
131         my $first = 1;
132         my $str = "";
133
134         while (my ($key, $value) = each %$param) {
135                 next unless defined($value);
136                 next if (defined($defparam->{$key}) && $value == $defparam->{$key});
137
138                 $value = pretty_escape($value);
139         
140                 $str .= ($first) ? "?" : ';';
141                 $str .= "$key=$value";
142                 $first = 0;
143         }
144         return $str;
145 }
146
147 # This is not perfect (it can't handle "_ " right, for one), but it will do for now
148 sub weird_space_encode {
149         my $val = shift;
150         if ($val =~ /_/) {
151                 return "_" x (length($val) * 2);
152         } else {
153                 return "_" x (length($val) * 2 - 1);
154         }
155 }
156
157 sub weird_space_unencode {
158         my $val = shift;
159         if (length($val) % 2 == 0) {
160                 return "_" x (length($val) / 2);
161         } else {
162                 return " " x ((length($val) + 1) / 2);
163         }
164 }
165                 
166 sub pretty_escape {
167         my $value = shift;
168
169         $value =~ s/(([_ ])\2*)/weird_space_encode($1)/ge;
170         $value = URI::Escape::uri_escape($value);
171         $value =~ s/%2F/\//g;
172
173         return $value;
174 }
175
176 sub pretty_unescape {
177         my $value = shift;
178
179         # URI unescaping is already done for us
180         $value =~ s/(_+)/weird_space_unencode($1)/ge;
181
182         return $value;
183 }
184
185 sub print_link {
186         my ($r, $title, $baseurl, $param, $defparam, $accesskey) = @_;
187         my $str = "<a href=\"$baseurl" . get_query_string($param, $defparam) . "\"";
188         if (defined($accesskey) && length($accesskey) == 1) {
189                 $str .= " accesskey=\"$accesskey\"";
190         }
191         $str .= ">$title</a>";
192         $r->print($str);
193 }
194
195 sub get_dbh {
196         # Check that we are alive
197         if (!(defined($dbh) && $dbh->ping)) {
198                 # Try to reconnect
199                 Apache2::ServerUtil->server->log_error("Lost contact with PostgreSQL server, trying to reconnect...");
200                 unless ($dbh = DBI->connect("dbi:Pg:dbname=pr0n;host=" . $Sesse::pr0n::Config::db_host,
201                         $Sesse::pr0n::Config::db_username, $Sesse::pr0n::Config::db_password)) {
202                         $dbh = undef;
203                         die "Couldn't connect to PostgreSQL database";
204                 }
205         }
206
207         return $dbh;
208 }
209
210 sub get_base {
211         my $r = shift;
212         return $r->dir_config('ImageBase');
213 }
214
215 sub get_disk_location {
216         my ($r, $id) = @_;
217         my $dir = POSIX::floor($id / 256);
218         return get_base($r) . "images/$dir/$id.jpg";
219 }
220
221 sub get_cache_location {
222         my ($r, $id, $width, $height, $infobox) = @_;
223         my $dir = POSIX::floor($id / 256);
224
225         if ($infobox eq 'both') {
226                 return get_base($r) . "cache/$dir/$id-$width-$height.jpg";
227         } elsif ($infobox eq 'nobox') {
228                 return get_base($r) . "cache/$dir/$id-$width-$height-nobox.jpg";
229         } else {
230                 return get_base($r) . "cache/$dir/$id-$width-$height-box.png";
231         }
232 }
233
234 sub get_mipmap_location {
235         my ($r, $id, $width, $height) = @_;
236         my $dir = POSIX::floor($id / 256);
237
238         return get_base($r) . "cache/$dir/$id-mipmap-$width-$height.jpg";
239 }
240
241 sub update_image_info {
242         my ($r, $id, $width, $height) = @_;
243
244         # Also find the date taken if appropriate (from the EXIF tag etc.)
245         my $exiftool = Image::ExifTool->new;
246         $exiftool->ExtractInfo(get_disk_location($r, $id));
247         my $info = $exiftool->GetInfo();
248         my $datetime = undef;
249                         
250         if (defined($info->{'DateTimeOriginal'})) {
251                 # Parse the date and time over to ISO format
252                 if ($info->{'DateTimeOriginal'} =~ /^(\d{4}):(\d\d):(\d\d) (\d\d):(\d\d):(\d\d)(?:\+\d\d:\d\d)?$/ && $1 > 1990) {
253                         $datetime = "$1-$2-$3 $4:$5:$6";
254                 }
255         }
256
257         {
258                 local $dbh->{AutoCommit} = 0;
259
260                 # EXIF information
261                 $dbh->do('DELETE FROM exif_info WHERE image=?',
262                         undef, $id)
263                         or die "Couldn't delete old EXIF information in SQL: $!";
264
265                 my $q = $dbh->prepare('INSERT INTO exif_info (image,key,value) VALUES (?,?,?)')
266                         or die "Couldn't prepare inserting EXIF information: $!";
267
268                 for my $key (keys %$info) {
269                         next if ref $info->{$key};
270                         $q->execute($id, $key, guess_charset($info->{$key}))
271                                 or die "Couldn't insert EXIF information in database: $!";
272                 }
273
274                 # Model/Lens
275                 my $model = $exiftool->GetValue('Model', 'PrintConv');
276                 my $lens = $exiftool->GetValue('Lens', 'PrintConv');
277                 $lens = $exiftool->GetValue('LensSpec', 'PrintConv') if (!defined($lens));
278
279                 $model =~ s/^\s*//;
280                 $model =~ s/\s*$//;
281                 $model = undef if (length($model) == 0);
282
283                 $lens =~ s/^\s*//;
284                 $lens =~ s/\s*$//;
285                 $lens = undef if (length($lens) == 0);
286                 
287                 # Now update the main table with the information we've got
288                 $dbh->do('UPDATE images SET width=?, height=?, date=?, model=?, lens=? WHERE id=?',
289                          undef, $width, $height, $datetime, $model, $lens, $id)
290                         or die "Couldn't update width/height in SQL: $!";
291                 
292                 # Tags
293                 my @tags = $exiftool->GetValue('Keywords', 'ValueConv');
294                 $dbh->do('DELETE FROM tags WHERE image=?',
295                         undef, $id)
296                         or die "Couldn't delete old tag information in SQL: $!";
297
298                 $q = $dbh->prepare('INSERT INTO tags (image,tag) VALUES (?,?)')
299                         or die "Couldn't prepare inserting tag information: $!";
300
301
302                 for my $tag (@tags) {
303                         $q->execute($id, guess_charset($tag))
304                                 or die "Couldn't insert tag information in database: $!";
305                 }
306
307                 # update the last_picture cache as well (this should of course be done
308                 # via a trigger, but this is less complicated :-) )
309                 $dbh->do('UPDATE last_picture_cache SET last_picture=GREATEST(last_picture, ?) WHERE (vhost,event)=(SELECT vhost,event FROM images WHERE id=?)',
310                         undef, $datetime, $id)
311                         or die "Couldn't update last_picture in SQL: $!";
312         }
313 }
314
315 sub check_access {
316         my $r = shift;
317         
318         #return qw(sesse Sesse);
319
320         my $auth = $r->headers_in->{'authorization'};
321         if (!defined($auth)) {
322                 output_401($r);
323                 return undef;
324         } 
325         if ($auth =~ /^Basic ([a-zA-Z0-9+\/]+=*)$/) {
326                 return check_basic_auth($r, $1);
327         }       
328         if ($auth =~ /^Digest (.*)$/) {
329                 return check_digest_auth($r, $1);
330         }
331         output_401($r);
332         return undef;
333 }
334
335 sub output_401 {
336         my ($r, %options) = @_;
337         $r->content_type('text/plain; charset=utf-8');
338         $r->status(401);
339         $r->headers_out->{'www-authenticate'} = 'Basic realm="pr0n.sesse.net"';
340
341         if ($options{'DigestAuth'} // 1) {
342                 # We make our nonce similar to the scheme of RFC2069 section 2.1.1,
343                 # with some changes: We don't care about client IP (these have a nasty
344                 # tendency to change from request to request when load-balancing
345                 # proxies etc. are being used), and we use HMAC instead of simple
346                 # hashing simply because that's a better signing method.
347                 #
348                 # NOTE: For some weird reason, Digest::HMAC_SHA1 doesn't like taking
349                 # the output from time directly (it gives a different response), so we
350                 # forcefully stringify the argument.
351                 my $ts = time;
352                 my $nonce = Digest::HMAC_SHA1->hmac_sha1_hex($ts . "", $Sesse::pr0n::Config::db_password);
353                 my $stale_nonce_text = "";
354                 $stale_nonce_text = ", stale=\"true\"" if ($options{'StaleNonce'} // 0);
355
356                 $r->headers_out->{'www-authenticate'} =
357                         "Digest realm=\"pr0n.sesse.net\", " .
358                         "nonce=\"$nonce\", " .
359                         "opaque=\"$ts\", " .
360                         "qop=\"auth\"" . $stale_nonce_text;  # FIXME: support auth-int
361         }
362
363         $r->print("Need authorization\n");
364 }
365
366 sub check_basic_auth {
367         my ($r, $auth) = @_;    
368
369         my ($raw_user, $pass) = split /:/, MIME::Base64::decode_base64($auth);
370         my ($user, $takenby) = extract_takenby($raw_user);
371         
372         my $ref = $dbh->selectrow_hashref('SELECT sha1password,digest_ha1_hex FROM users WHERE username=? AND vhost=?',
373                 undef, $user, $r->get_server_name);
374         if (!defined($ref) || $ref->{'sha1password'} ne Digest::SHA1::sha1_base64($pass)) {
375                 $r->content_type('text/plain; charset=utf-8');
376                 $r->log->warn("Authentication failed for $user/$takenby");
377                 output_401($r);
378                 return undef;
379         }
380         $r->log->info("Authentication succeeded for $user/$takenby");
381
382         # Make sure we can use Digest authentication in the future with this password.
383         my $ha1 = Digest::MD5::md5_hex($user . ':pr0n.sesse.net:' . $pass);
384         if (!defined($ref->{'digest_ha1_hex'}) || $ref->{'digest_ha1_hex'} ne $ha1) {
385                 $dbh->do('UPDATE users SET digest_ha1_hex=? WHERE username=? AND vhost=?',
386                         undef, $ha1, $user, $r->get_server_name)
387                         or die "Couldn't update: " . $dbh->errstr;
388                 $r->log->info("Updated Digest auth hash for for $user");
389         }
390
391         return ($user, $takenby);
392 }
393
394 sub check_digest_auth {
395         my ($r, $auth) = @_;    
396
397         # We're a bit more liberal than RFC2069 in the parsing here, allowing
398         # quoted strings everywhere.
399         my %auth = ();
400         while ($auth =~ s/^ ([a-zA-Z]+)                # key
401                          =                 
402                          (                            
403                            [^",]*                     # either something that doesn't contain comma or quotes
404                          |
405                            " ( [^"\\] | \\ . ) * "    # or a full quoted string
406                          )
407                          (?: (?: , \s* ) + | $ )      # delimiter(s), or end of string
408                         //x) {
409                 my ($key, $value) = ($1, $2);
410                 if ($value =~ /^"(.*)"$/) {
411                         $value = $1;
412                         $value =~ s/\\(.)/$1/g;
413                 }
414                 $auth{$key} = $value;
415         }
416         unless (exists($auth{'username'}) &&
417                 exists($auth{'uri'}) &&
418                 exists($auth{'nonce'}) &&
419                 exists($auth{'opaque'}) &&
420                 exists($auth{'response'})) {
421                 output_401($r);
422                 return undef;
423         }
424         if ($r->uri ne $auth{'uri'}) {  
425                 output_401($r);
426                 return undef;
427         }
428         
429         # Verify that the opaque data does indeed look like a timestamp, and that the nonce
430         # is indeed a signed version of it.
431         if ($auth{'opaque'} !~ /^\d+$/) {
432                 output_401($r);
433                 return undef;
434         }
435         my $compare_nonce = Digest::HMAC_SHA1->hmac_sha1_hex($auth{'opaque'}, $Sesse::pr0n::Config::db_password);
436         if ($auth{'nonce'} ne $compare_nonce) {
437                 output_401($r);
438                 return undef;
439         }
440
441         # Now look up the user's HA1 from the database, and calculate HA2.      
442         my ($user, $takenby) = extract_takenby($auth{'username'});
443         my $ref = $dbh->selectrow_hashref('SELECT digest_ha1_hex FROM users WHERE username=? AND vhost=?',
444                 undef, $user, $r->get_server_name);
445         if (!defined($ref)) {
446                 output_401($r);
447                 return undef;
448         }
449         if (!defined($ref->{'digest_ha1_hex'}) || $ref->{'digest_ha1_hex'} !~ /^[0-9a-f]{32}$/) {
450                 # A user that exists but has empty HA1 is a user that's not
451                 # ready for digest auth, so we hack it and resend 401,
452                 # only this time without digest auth.
453                 output_401($r, DigestAuth => 0);
454                 return undef;
455         }
456         my $ha1 = $ref->{'digest_ha1_hex'};
457         my $ha2 = Digest::MD5::md5_hex($r->method . ':' . $auth{'uri'});
458         my $response;
459         if (exists($auth{'qop'}) && $auth{'qop'} eq 'auth') {
460                 unless (exists($auth{'nc'}) && exists($auth{'cnonce'})) {
461                         output_401($r);
462                         return undef;
463                 }       
464
465                 $response = $ha1;
466                 $response .= ':' . $auth{'nonce'};
467                 $response .= ':' . $auth{'nc'};
468                 $response .= ':' . $auth{'cnonce'};
469                 $response .= ':' . $auth{'qop'};
470                 $response .= ':' . $ha2;
471         } else {
472                 $response = $ha1;
473                 $response .= ':' . $auth{'nonce'};
474                 $response .= ':' . $ha2;
475         }
476         if ($auth{'response'} ne Digest::MD5::md5_hex($response)) {     
477                 output_401($r);
478                 return undef;
479         }
480
481         # OK, everything is good, and there's only one thing we need to check: That the nonce
482         # isn't too old. If it is, but everything else is ok, we tell the browser that and it
483         # will re-encrypt with the new nonce.
484         my $timediff = time - $auth{'opaque'};
485         if ($timediff < 0 || $timediff > 300) {
486                 output_401($r, StaleNonce => 1);
487                 return undef;
488         }
489
490         return ($user, $takenby);
491 }
492
493 sub extract_takenby {
494         my ($user) = shift;
495
496         # WinXP is stupid :-)
497         if ($user =~ /^.*\\(.*)$/) {
498                 $user = $1;
499         }
500
501         my $takenby;
502         if ($user =~ /^([a-zA-Z0-9^_-]+)\@([a-zA-Z0-9^_-]+)$/) {
503                 $user = $1;
504                 $takenby = $2;
505         } else {
506                 ($takenby = $user) =~ s/^([a-zA-Z])/uc($1)/e;
507         }
508
509         return ($user, $takenby);
510 }
511         
512 sub stat_image {
513         my ($r, $event, $filename) = (@_);
514         my $ref = $dbh->selectrow_hashref(
515                 'SELECT id FROM images WHERE event=? AND filename=?',
516                 undef, $event, $filename);
517         if (!defined($ref)) {
518                 return (undef, undef, undef);
519         }
520         return stat_image_from_id($r, $ref->{'id'});
521 }
522
523 sub stat_image_from_id {
524         my ($r, $id) = @_;
525
526         my $fname = get_disk_location($r, $id);
527         my (undef, undef, undef, undef, undef, undef, undef, $size, undef, $mtime) = stat($fname)
528                 or return (undef, undef, undef);
529
530         return ($fname, $size, $mtime);
531 }
532
533 # Takes in an image ID and a set of resolutions, and returns (generates if needed)
534 # the smallest mipmap larger than the largest of them.
535 sub make_mipmap {
536         my ($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale, @res) = @_;
537         my ($img, $mmimg, $width, $height);
538         
539         my $physical_fname = get_disk_location($r, $id);
540
541         # If we don't know the size, we'll need to read it in anyway
542         if (!defined($dbwidth) || !defined($dbheight)) {
543                 $img = read_original_image($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale);
544                 $width = $img->Get('columns');
545                 $height = $img->Get('rows');
546         } else {
547                 $width = $dbwidth;
548                 $height = $dbheight;
549         }
550
551         # Generate the list of mipmaps
552         my @mmlist = ();
553         
554         my $mmwidth = $width;
555         my $mmheight = $height;
556
557         while ($mmwidth > 1 || $mmheight > 1) {
558                 my $new_mmwidth = POSIX::floor($mmwidth / 2);           
559                 my $new_mmheight = POSIX::floor($mmheight / 2);         
560
561                 $new_mmwidth = 1 if ($new_mmwidth < 1);
562                 $new_mmheight = 1 if ($new_mmheight < 1);
563
564                 my $large_enough = 1;
565                 for my $i (0..($#res/2)) {
566                         my ($xres, $yres) = ($res[$i*2], $res[$i*2+1]);
567                         if ($xres == -1 || $xres > $new_mmwidth || $yres > $new_mmheight) {
568                                 $large_enough = 0;
569                                 last;
570                         }
571                 }
572                                 
573                 last if (!$large_enough);
574
575                 $mmwidth = $new_mmwidth;
576                 $mmheight = $new_mmheight;
577
578                 push @mmlist, [ $mmwidth, $mmheight ];
579         }
580                 
581         # Ensure that all of them are OK
582         my $last_good_mmlocation;
583         for my $i (0..$#mmlist) {
584                 my $last = ($i == $#mmlist);
585                 my $mmres = $mmlist[$i];
586
587                 my $mmlocation = get_mipmap_location($r, $id, $mmres->[0], $mmres->[1]);
588                 if (! -r $mmlocation or (-M $mmlocation > -M $physical_fname)) {
589                         if (!defined($img)) {
590                                 if (defined($last_good_mmlocation)) {
591                                         if ($can_use_qscale) {
592                                                 $img = Sesse::pr0n::QscaleProxy->new;
593                                         } else {
594                                                 $img = Image::Magick->new;
595                                         }
596                                         $img->Read($last_good_mmlocation);
597                                 } else {
598                                         $img = read_original_image($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale);
599                                 }
600                         }
601                         my $cimg;
602                         if ($last) {
603                                 $cimg = $img;
604                         } else {
605                                 $cimg = $img->Clone();
606                         }
607                         $r->log->info("Making mipmap for $id: " . $mmres->[0] . " x " . $mmres->[1]);
608                         $cimg->Resize(width=>$mmres->[0], height=>$mmres->[1], filter=>'Lanczos', 'sampling-factor'=>'1x1');
609                         $cimg->Strip();
610                         my $err = $cimg->write(
611                                 filename => $mmlocation,
612                                 quality => 95,
613                                 'sampling-factor' => '1x1'
614                         );
615                         $img = $cimg;
616                 } else {
617                         $last_good_mmlocation = $mmlocation;
618                 }
619                 if ($last && !defined($img)) {
620                         # OK, read in the smallest one
621                         if ($can_use_qscale) {
622                                 $img = Sesse::pr0n::QscaleProxy->new;
623                         } else {
624                                 $img = Image::Magick->new;
625                         }
626                         my $err = $img->Read($mmlocation);
627                 }
628         }
629
630         if (!defined($img)) {
631                 $img = read_original_image($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale);
632         }
633         return $img;
634 }
635
636 sub read_original_image {
637         my ($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale) = @_;
638
639         my $physical_fname = get_disk_location($r, $id);
640
641         # Read in the original image
642         my $magick;
643         if ($can_use_qscale && ($filename =~ /\.jpeg$/i || $filename =~ /\.jpg$/i)) {
644                 $magick = Sesse::pr0n::QscaleProxy->new;
645         } else {
646                 $magick = Image::Magick->new;
647         }
648         my $err;
649
650         # ImageMagick can handle NEF files, but it does it by calling dcraw as a delegate.
651         # The delegate support is rather broken and causes very odd stuff to happen when
652         # more than one thread does this at the same time. Thus, we simply do it ourselves.
653         if ($filename =~ /\.(nef|cr2)$/i) {
654                 # this would suffice if ImageMagick gets to fix their handling
655                 # $physical_fname = "NEF:$physical_fname";
656                 
657                 open DCRAW, "-|", "dcraw", "-w", "-c", $physical_fname
658                         or error("dcraw: $!");
659                 $err = $magick->Read(file => \*DCRAW);
660                 close(DCRAW);
661         } else {
662                 # We always want YCbCr JPEGs. Setting this explicitly here instead of using
663                 # RGB is slightly faster (no colorspace conversion needed) and works equally
664                 # well for our uses, as long as we don't need to draw an information box,
665                 # which trickles several ImageMagick bugs related to colorspace handling.
666                 # (Ideally we'd be able to keep the image subsampled and
667                 # planar, but that would probably be difficult for ImageMagick to expose.)
668                 #if (!$infobox) {
669                 #       $magick->Set(colorspace=>'YCbCr');
670                 #}
671                 $err = $magick->Read($physical_fname);
672         }
673         
674         if ($err) {
675                 $r->log->warn("$physical_fname: $err");
676                 $err =~ /(\d+)/;
677                 if ($1 >= 400) {
678                         undef $magick;
679                         error($r, "$physical_fname: $err");
680                 }
681         }
682
683         # If we use ->[0] unconditionally, text rendering (!) seems to crash
684         my $img;
685         if (ref($magick) !~ /Image::Magick/) {
686                 $img = $magick;
687         } else {
688                 $img = (scalar @$magick > 1) ? $magick->[0] : $magick;
689         }
690
691         my $width = $img->Get('columns');
692         my $height = $img->Get('rows');
693
694         # Update the SQL database if it doesn't contain the required info
695         if (!defined($dbwidth) || !defined($dbheight)) {
696                 $r->log->info("Updating width/height for $id: $width x $height");
697                 update_image_info($r, $id, $width, $height);
698         }
699
700         return $img;
701 }
702
703 sub ensure_cached {
704         my ($r, $filename, $id, $dbwidth, $dbheight, $infobox, $xres, $yres, @otherres) = @_;
705
706         my $fname = get_disk_location($r, $id);
707         if ($infobox ne 'box') {
708                 unless (defined($xres) && (!defined($dbwidth) || !defined($dbheight) || $xres < $dbheight || $yres < $dbwidth || $xres == -1)) {
709                         return ($fname, undef);
710                 }
711         }
712
713         my $cachename = get_cache_location($r, $id, $xres, $yres, $infobox);
714         my $err;
715         if (! -r $cachename or (-M $cachename > -M $fname)) {
716                 # If we are in overload mode (aka Slashdot mode), refuse to generate
717                 # new thumbnails.
718                 if (Sesse::pr0n::Overload::is_in_overload($r)) {
719                         $r->log->warn("In overload mode, not scaling $id to $xres x $yres");
720                         error($r, 'System is in overload mode, not doing any scaling');
721                 }
722
723                 # If we're being asked for just the box, make a new image with just the box.
724                 # We don't care about @otherres since each of these images are
725                 # already pretty cheap to generate, but we need the exact width so we can make
726                 # one in the right size.
727                 if ($infobox eq 'box') {
728                         my ($img, $width, $height);
729
730                         # This is slow, but should fortunately almost never happen, so don't bother
731                         # special-casing it.
732                         if (!defined($dbwidth) || !defined($dbheight)) {
733                                 $img = read_original_image($r, $filename, $id, $dbwidth, $dbheight, 0);
734                                 $width = $img->Get('columns');
735                                 $height = $img->Get('rows');
736                                 @$img = ();
737                         } else {
738                                 $img = Image::Magick->new;
739                                 $width = $dbwidth;
740                                 $height = $dbheight;
741                         }
742                         
743                         if (defined($xres) && defined($yres)) {
744                                 ($width, $height) = scale_aspect($width, $height, $xres, $yres);
745                         }
746                         $height = 24;
747                         $img->Set(size=>($width . "x" . $height));
748                         $img->Read('xc:white');
749                                 
750                         my $info = Image::ExifTool::ImageInfo($fname);
751                         if (make_infobox($img, $info, $r)) {
752                                 $img->Quantize(colors=>16, dither=>'False');
753
754                                 # Since the image is grayscale, ImageMagick overrides us and writes this
755                                 # as grayscale anyway, but at least we get rid of the alpha channel this
756                                 # way.
757                                 $img->Set(type=>'Palette');
758                         } else {
759                                 # Not enough room for the text, make a tiny dummy transparent infobox
760                                 @$img = ();
761                                 $img->Set(size=>"1x1");
762                                 $img->Read('null:');
763
764                                 $width = 1;
765                                 $height = 1;
766                         }
767                                 
768                         $err = $img->write(filename => $cachename, quality => 90, depth => 8);
769                         $r->log->info("New infobox cache: $width x $height for $id.jpg");
770                         
771                         return ($cachename, 'image/png');
772                 }
773
774                 my $can_use_qscale = 0;
775                 if ($infobox eq 'nobox') {
776                         $can_use_qscale = 1;
777                 }
778
779                 my $img = make_mipmap($r, $filename, $id, $dbwidth, $dbheight, $can_use_qscale, $xres, $yres, @otherres);
780
781                 while (defined($xres) && defined($yres)) {
782                         my ($nxres, $nyres) = (shift @otherres, shift @otherres);
783                         my $cachename = get_cache_location($r, $id, $xres, $yres, $infobox);
784                         
785                         my $cimg;
786                         if (defined($nxres) && defined($nyres)) {
787                                 # we have more resolutions to scale, so don't throw
788                                 # the image away
789                                 $cimg = $img->Clone();
790                         } else {
791                                 $cimg = $img;
792                         }
793                 
794                         my $width = $img->Get('columns');
795                         my $height = $img->Get('rows');
796                         my ($nwidth, $nheight) = scale_aspect($width, $height, $xres, $yres);
797
798                         my $filter = 'Lanczos';
799                         my $quality = 87;
800                         my $sf = "1x1";
801
802                         if ($xres != -1) {
803                                 $cimg->Resize(width=>$nwidth, height=>$nheight, filter=>$filter, 'sampling-factor'=>$sf);
804                         }
805
806                         if (($nwidth >= 800 || $nheight >= 600 || $xres == -1) && $infobox ne 'nobox') {
807                                 my $info = Image::ExifTool::ImageInfo($fname);
808                                 make_infobox($cimg, $info, $r);
809                         }
810
811                         # Strip EXIF tags etc.
812                         $cimg->Strip();
813
814                         {
815                                 my %parms = (
816                                         filename => $cachename,
817                                         quality => $quality
818                                 );
819                                 if (($nwidth >= 640 && $nheight >= 480) ||
820                                     ($nwidth >= 480 && $nheight >= 640)) {
821                                         $parms{'interlace'} = 'Plane';
822                                 }
823                                 if (defined($sf)) {
824                                         $parms{'sampling-factor'} = $sf;
825                                 }
826                                 $err = $cimg->write(%parms);
827                         }
828
829                         undef $cimg;
830
831                         ($xres, $yres) = ($nxres, $nyres);
832
833                         $r->log->info("New cache: $nwidth x $nheight for $id.jpg");
834                 }
835                 
836                 undef $img;
837                 if ($err) {
838                         $r->log->warn("$fname: $err");
839                         $err =~ /(\d+)/;
840                         if ($1 >= 400) {
841                                 #@$magick = ();
842                                 error($r, "$fname: $err");
843                         }
844                 }
845         }
846         return ($cachename, 'image/jpeg');
847 }
848
849 sub get_mimetype_from_filename {
850         my $filename = shift;
851         my MIME::Type $type = $mimetypes->mimeTypeOf($filename);
852         $type = "image/jpeg" if (!defined($type));
853         return $type;
854 }
855
856 sub make_infobox {
857         my ($img, $info, $r) = @_;
858
859         # The infobox is of the form
860         # "Time - date - focal length, shutter time, aperture, sensitivity, exposure bias - flash",
861         # possibly with some parts omitted -- the middle part is known as the "classic
862         # fields"; note the comma separation. Every field has an associated "bold flag"
863         # in the second part.
864         
865         my $shutter_priority = (defined($info->{'ExposureProgram'}) &&
866                 $info->{'ExposureProgram'} =~ /shutter\b.*\bpriority/i);
867         my $aperture_priority = (defined($info->{'ExposureProgram'}) &&
868                 $info->{'ExposureProgram'} =~ /aperture\b.*\bpriority/i);
869
870         my @classic_fields = ();
871         if (defined($info->{'FocalLength'}) && $info->{'FocalLength'} =~ /^(\d+)(?:\.\d+)?\s*(?:mm)?$/) {
872                 push @classic_fields, [ $1 . "mm", 0 ];
873         } elsif (defined($info->{'FocalLength'}) && $info->{'FocalLength'} =~ /^(\d+)\/(\d+)$/) {
874                 push @classic_fields, [ (sprintf "%.1fmm", ($1/$2)), 0 ];
875         }
876
877         if (defined($info->{'ExposureTime'}) && $info->{'ExposureTime'} =~ /^(\d+)\/(\d+)$/) {
878                 my ($a, $b) = ($1, $2);
879                 my $gcd = gcd($a, $b);
880                 push @classic_fields, [ $a/$gcd . "/" . $b/$gcd . "s", $shutter_priority ];
881         } elsif (defined($info->{'ExposureTime'}) && $info->{'ExposureTime'} =~ /^(\d+(?:\.\d+))$/) {
882                 push @classic_fields, [ $1 . "s", $shutter_priority ];
883         }
884
885         if (defined($info->{'FNumber'}) && $info->{'FNumber'} =~ /^(\d+)\/(\d+)$/) {
886                 my $f = $1/$2;
887                 if ($f >= 10) {
888                         push @classic_fields, [ (sprintf "f/%.0f", $f), $aperture_priority ];
889                 } else {
890                         push @classic_fields, [ (sprintf "f/%.1f", $f), $aperture_priority ];
891                 }
892         } elsif (defined($info->{'FNumber'}) && $info->{'FNumber'} =~ /^(\d+)\.(\d+)$/) {
893                 my $f = $info->{'FNumber'};
894                 if ($f >= 10) {
895                         push @classic_fields, [ (sprintf "f/%.0f", $f), $aperture_priority ];
896                 } else {
897                         push @classic_fields, [ (sprintf "f/%.1f", $f), $aperture_priority ];
898                 }
899         }
900
901 #       Apache2::ServerUtil->server->log_error(join(':', keys %$info));
902
903         my $iso = undef;
904         if (defined($info->{'NikonD1-ISOSetting'})) {
905                 $iso = $info->{'NikonD1-ISOSetting'};
906         } elsif (defined($info->{'ISO'})) {
907                 $iso = $info->{'ISO'};
908         } elsif (defined($info->{'ISOSetting'})) {
909                 $iso = $info->{'ISOSetting'};
910         }
911         if (defined($iso) && $iso =~ /(\d+)/) {
912                 push @classic_fields, [ $1 . " ISO", 0 ];
913         }
914
915         if (defined($info->{'ExposureBiasValue'}) && $info->{'ExposureBiasValue'} ne "0") {
916                 push @classic_fields, [ $info->{'ExposureBiasValue'} . " EV", 0 ];
917         } elsif (defined($info->{'ExposureCompensation'}) && $info->{'ExposureCompensation'} != 0) {
918                 push @classic_fields, [ $info->{'ExposureCompensation'} . " EV", 0 ];
919         }
920
921         # Now piece together the rest
922         my @parts = ();
923         
924         if (defined($info->{'DateTimeOriginal'}) &&
925             $info->{'DateTimeOriginal'} =~ /^(\d{4}):(\d\d):(\d\d) (\d\d):(\d\d):(\d\d)$/
926             && $1 >= 1990) {
927                 push @parts, [ "$1-$2-$3 $4:$5", 0 ];
928         }
929
930         if (defined($info->{'Model'})) {
931                 my $model = $info->{'Model'}; 
932                 $model =~ s/^\s+//;
933                 $model =~ s/\s+$//;
934
935                 push @parts, [ ' - ', 0 ] if (scalar @parts > 0);
936                 push @parts, [ $model, 0 ];
937         }
938         
939         # classic fields
940         if (scalar @classic_fields > 0) {
941                 push @parts, [ ' - ', 0 ] if (scalar @parts > 0);
942
943                 my $first_elem = 1;
944                 for my $field (@classic_fields) {
945                         push @parts, [ ', ', 0 ] if (!$first_elem);
946                         $first_elem = 0;
947                         push @parts, $field;
948                 }
949         }
950
951         if (defined($info->{'Flash'})) {
952                 if ($info->{'Flash'} =~ /did not fire/i ||
953                     $info->{'Flash'} =~ /no flash/i ||
954                     $info->{'Flash'} =~ /not fired/i ||
955                     $info->{'Flash'} =~ /Off/)  {
956                         push @parts, [ ' - ', 0 ] if (scalar @parts > 0);
957                         push @parts, [ "No flash", 0 ];
958                 } elsif ($info->{'Flash'} =~ /fired/i ||
959                          $info->{'Flash'} =~ /On/) {
960                         push @parts, [ ' - ', 0 ] if (scalar @parts > 0);
961                         push @parts, [ "Flash", 0 ];
962                 } else {
963                         push @parts, [ ' - ', 0 ] if (scalar @parts > 0);
964                         push @parts, [ $info->{'Flash'}, 0 ];
965                 }
966         }
967
968         return 0 if (scalar @parts == 0);
969
970         # Find the required width
971         my $th = 0;
972         my $tw = 0;
973
974         for my $part (@parts) {
975                 my $font;
976                 if ($part->[1]) {
977                         $font = '/usr/share/fonts/truetype/msttcorefonts/Arial_Bold.ttf';
978                 } else {
979                         $font = '/usr/share/fonts/truetype/msttcorefonts/Arial.ttf';
980                 }
981
982                 my (undef, undef, $h, undef, $w) = ($img->QueryFontMetrics(text=>$part->[0], font=>$font, pointsize=>12));
983
984                 $tw += $w;
985                 $th = $h if ($h > $th);
986         }
987
988         return 0 if ($tw > $img->Get('columns'));
989
990         my $x = 0;
991         my $y = $img->Get('rows') - 24;
992
993         # Hit exact DCT blocks
994         $y -= ($y % 8);
995
996         my $points = sprintf "%u,%u %u,%u", $x, $y, ($img->Get('columns') - 1), ($img->Get('rows') - 1);
997         my $lpoints = sprintf "%u,%u %u,%u", $x, $y, ($img->Get('columns') - 1), $y;
998         $img->Draw(primitive=>'rectangle', stroke=>'white', fill=>'white', points=>$points);
999         $img->Draw(primitive=>'line', stroke=>'black', points=>$lpoints);
1000
1001         # Start writing out the text
1002         $x = ($img->Get('columns') - $tw) / 2;
1003
1004         my $room = ($img->Get('rows') - 1 - $y - $th);
1005         $y = ($img->Get('rows') - 1) - $room/2;
1006         
1007         for my $part (@parts) {
1008                 my $font;
1009                 if ($part->[1]) {
1010                         $font = '/usr/share/fonts/truetype/msttcorefonts/Arial_Bold.ttf';
1011                 } else {
1012                         $font = '/usr/share/fonts/truetype/msttcorefonts/Arial.ttf';
1013                 }
1014                 $img->Annotate(text=>$part->[0], font=>$font, pointsize=>12, x=>int($x), y=>int($y));
1015                 $x += ($img->QueryFontMetrics(text=>$part->[0], font=>$font, pointsize=>12))[4];
1016         }
1017
1018         return 1;
1019 }
1020
1021 sub gcd {
1022         my ($a, $b) = @_;
1023         return $a if ($b == 0);
1024         return gcd($b, $a % $b);
1025 }
1026
1027 sub add_new_event {
1028         my ($r, $dbh, $id, $date, $desc) = @_;
1029         my @errors = ();
1030
1031         if (!defined($id) || $id =~ /^\s*$/ || $id !~ /^([a-zA-Z0-9-]+)$/) {
1032                 push @errors, "Manglende eller ugyldig ID.";
1033         }
1034         if (!defined($date) || $date =~ /^\s*$/ || $date =~ /[<>&]/ || length($date) > 100) {
1035                 push @errors, "Manglende eller ugyldig dato.";
1036         }
1037         if (!defined($desc) || $desc =~ /^\s*$/ || $desc =~ /[<>&]/ || length($desc) > 100) {
1038                 push @errors, "Manglende eller ugyldig beskrivelse.";
1039         }
1040         
1041         if (scalar @errors > 0) {
1042                 return @errors;
1043         }
1044                 
1045         my $vhost = $r->get_server_name;
1046         $dbh->do("INSERT INTO events (event,date,name,vhost) VALUES (?,?,?,?)",
1047                 undef, $id, $date, $desc, $vhost)
1048                 or return ("Kunne ikke sette inn ny hendelse" . $dbh->errstr);
1049         $dbh->do("INSERT INTO last_picture_cache (vhost,event,last_picture) VALUES (?,?,NULL)",
1050                 undef, $vhost, $id)
1051                 or return ("Kunne ikke sette inn ny cache-rad" . $dbh->errstr);
1052         purge_cache($r, "/");
1053
1054         return ();
1055 }
1056
1057 sub guess_charset {
1058         my $text = shift;
1059         my $decoded;
1060
1061         eval {
1062                 $decoded = Encode::decode("utf-8", $text, Encode::FB_CROAK);
1063         };
1064         if ($@) {
1065                 $decoded = Encode::decode("iso8859-1", $text);
1066         }
1067
1068         return $decoded;
1069 }
1070
1071 # Depending on your front-end cache, you might want to get creative somehow here.
1072 # This example assumes you have a front-end cache and it can translate an X-Pr0n-Purge
1073 # regex tacked onto a request into something useful. The elements given in
1074 # should not be regexes, though, as e.g. Squid will not be able to handle that.
1075 sub purge_cache {
1076         my ($r, @elements) = @_;
1077         return if (scalar @elements == 0);
1078
1079         my @pe = ();
1080         for my $elem (@elements) {
1081                 $r->log->info("Purging $elem");
1082                 (my $e = $elem) =~ s/[.+*|()]/\\$&/g;
1083                 push @pe, $e;
1084         }
1085
1086         my $regex = "^";
1087         if (scalar @pe == 1) {
1088                 $regex .= $pe[0];
1089         } else {
1090                 $regex .= "(" . join('|', @pe) . ")";
1091         }
1092         $regex .= "(\\?.*)?\$";
1093         $r->headers_out->{'X-Pr0n-Purge'} = $regex;
1094
1095         $r->log->info($r->headers_out->{'X-Pr0n-Purge'});
1096 }
1097                                 
1098 # Find a list of all cache URLs for a given image, given what we have on disk.
1099 sub get_all_cache_urls {
1100         my ($r, $dbh, $id) = @_;
1101         my $dir = POSIX::floor($id / 256);
1102         my @ret = ();
1103
1104         my $q = $dbh->prepare('SELECT event, filename FROM images WHERE id=?')
1105                 or die "Couldn't prepare: " . $dbh->errstr;
1106         $q->execute($id)
1107                 or die "Couldn't find event and filename: " . $dbh->errstr;
1108         my $ref = $q->fetchrow_hashref; 
1109         my $event = $ref->{'event'};
1110         my $filename = $ref->{'filename'};
1111         $q->finish;
1112
1113         my $base = get_base($r) . "cache/$dir";
1114         for my $file (<$base/$id-*>) {
1115                 my $fname = File::Basename::basename($file);
1116                 if ($fname =~ /^$id-mipmap-.*\.jpg$/) {
1117                         # Mipmaps don't have an URL, ignore
1118                 } elsif ($fname =~ /^$id--1--1\.jpg$/) {
1119                         push @ret, "/$event/$filename";
1120                 } elsif ($fname =~ /^$id-(\d+)-(\d+)\.jpg$/) {
1121                         push @ret, "/$event/$1x$2/$filename";
1122                 } elsif ($fname =~ /^$id-(\d+)-(\d+)-nobox\.jpg$/) {
1123                         push @ret, "/$event/$1x$2/nobox/$filename";
1124                 } elsif ($fname =~ /^$id--1--1-box\.png$/) {
1125                         push @ret, "/$event/box/$filename";
1126                 } elsif ($fname =~ /^$id-(\d+)-(\d+)-box\.png$/) {
1127                         push @ret, "/$event/$1x$2/box/$filename";
1128                 } else {
1129                         $r->log->warn("Couldn't find a purging URL for $fname");
1130                 }
1131         }
1132
1133         return @ret;
1134 }
1135
1136 1;
1137
1138