Archive for the 'Trick' Category

Create short IDs with PHP - Like Youtube or TinyURL

IDs are often numbers. Unfortunately there are only 10 digits to work with, so if you have a lot of records, IDs tend to get very lengthy. For computers that’s OK. ButOther title options where

  • How to create unique short string IDs with PHP & MySQL
  • Or how to create IDs similar to YouTube e.g. yzNjIBEdyww

I created this function a long time ago. Time to be nice and share. human beings like their IDs as short as possible. So how can we make IDs shorter? Well, we could borrow characters from the alphabet as have them pose as additional numbers…. Alphabet to the rescue!

More is Less - the ‘math’
The alphabet has 26 characters. That’s a lot more than 10 digits. If we also distinguish upper- and lowercase, and add digits to the bunch or the heck of it, we already have (26 x 2 + 10) 62 options we can use per position in the ID.

Now of course we can also add additional funny characters to ‘the bunch’ like - / * & # but those may cause problems in URLs and that’s our target audience for now.

OK so because there are roughly 6x more characters we will use per position, IDs will get much shorter. We can just fit a lot more data in each position.

This is basically what url shortening services do like tinyurl, is.gd, or bit.ly. But similar IDs can also be found at youtube: http://www.youtube.com/watch?v=yzNjIBEdyww

Convert your IDs
Now unlike Database servers: webservers are easy to scale so you can let them do a bit of converting to ease the life of your users, while keeping your database fast with numbers (MySQL really likes them plain numbers ;).

To do the conversion I’ve written a PHP function that can translate big numbers to short strings and vice versa. I call it: alphaID.

The resulting string is not hard to decipher, but it can be a very nice feature to make URLs or directorie structures more compact and significant.

So basically:

  • when someone requests rLHWfKd
  • alphaID() converts it to 999999999999
  • you lookup the record for id 999999999999 in your database

Source

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
/**
 * Translates a number to a short alhanumeric version
 *
 * Translated any number up to 9007199254740992
 * to a shorter version in letters e.g.:
 * 9007199254740989 --> PpQXn7COf
 *
 * specifiying the second argument true, it will
 * translate back e.g.:
 * PpQXn7COf --> 9007199254740989
 *
 * this function is based on any2dec && dec2any by
 * fragmer[at]mail[dot]ru
 * see: http://nl3.php.net/manual/en/function.base-convert.php#52450
 *
 * If you want the alphaID to be at least 3 letter long, use the
 * $pad_up = 3 argument
 *
 * In most cases this is better than totally random ID generators
 * because this can easily avoid duplicate ID's.
 * For example if you correlate the alpha ID to an auto incrementing ID
 * in your database, you're done.
 *
 * The reverse is done because it makes it slightly more cryptic,
 * but it also makes it easier to spread lots of IDs in different
 * directories on your filesystem. Example:
 * $part1 = substr($alpha_id,0,1);
 * $part2 = substr($alpha_id,1,1);
 * $part3 = substr($alpha_id,2,strlen($alpha_id));
 * $destindir = "/".$part1."/".$part2."/".$part3;
 * // by reversing, directories are more evenly spread out. The
 * // first 26 directories already occupy 26 main levels
 *
 * more info on limitation:
 * - http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-talk/165372
 *
 * if you really need this for bigger numbers you probably have to look
 * at things like: http://theserverpages.com/php/manual/en/ref.bc.php
 * or: http://theserverpages.com/php/manual/en/ref.gmp.php
 * but I haven't really dugg into this. If you have more info on those
 * matters feel free to leave a comment.
 * 
 * @author    Kevin van Zonneveld <kevin@vanzonneveld.net>
 * @copyright 2008 Kevin van Zonneveld (http://kevin.vanzonneveld.net)
 * @license   http://www.opensource.org/licenses/bsd-license.php New BSD Licence
 * @version   SVN: Release: $Id: alphaID.inc.php 344 2009-06-10 17:43:59Z kevin $
 * @link      http://kevin.vanzonneveld.net/
 * 
 * @param mixed   $in     String or long input to translate     
 * @param boolean $to_num Reverses translation when true
 * @param mixed   $pad_up Number or boolean padds the result up to a specified length
 * 
 * @return mixed string or long
 */
function alphaID($in, $to_num = false, $pad_up = false)
{
    $index = "abcdefghijklmnopqrstuvwxyz0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ";
    $base  = strlen($index);
 
    if ($to_num) {
        // Digital number  <<--  alphabet letter code
        $in  = strrev($in);
        $out = 0;
        $len = strlen($in) - 1;
        for ($t = 0; $t <= $len; $t++) {
            $bcpow = bcpow($base, $len - $t);
            $out   = $out + strpos($index, substr($in, $t, 1)) * $bcpow;
        }
 
        if (is_numeric($pad_up)) {
            $pad_up--;
            if ($pad_up > 0) {
                $out -= pow($base, $pad_up);
            }
        }
    } else { 
        // Digital number  -->>  alphabet letter code
        if (is_numeric($pad_up)) {
            $pad_up--;
            if ($pad_up > 0) {
                $in += pow($base, $pad_up);
            }
        }
 
        $out = "";
        for ($t = floor(log10($in) / log10($base)); $t >= 0; $t--) {
            $a   = floor($in / bcpow($base, $t));
            $out = $out . substr($index, $a, 1);
            $in  = $in - ($a * bcpow($base, $t));
        }
        $out = strrev($out); // reverse
    }
 
    return $out;
}
echo alphaID(27101984); //M2IPb
echo alphaID('M2IPb', TRUE);

More features

  • There also is an optional third argument: $pad_up. This enables you to make the resulting alphaId at least X characters long.
  • You can support even more characters (making the resulting alphaID even smaller) by adding characters to the $index var at the top of the function body.

From Kevin van Zonneveld’s blog

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Generate data

Trước đây từng hơi bí với việc test performance với lượng dữ liệu lớn vì phía khách hàng họ “gợi ý” là dữ liệu tuy là để test nhưng cũng phải “đẹp” nữa, và họ không thích kiểu tên nhân viên có dạng như: employee 1, employee 2…

Hôm qua chả hiểu lang thang thế nào lại lạc vào trang Generatedata.com :D Quả thật là chỉ riêng việc họ cho mình 5 tùy chọn result type (HTML , Excel, XML, CSV, SQL) mình đã hạnh phúc lắm rồi :X ấy thế mà họ còn cho mình free download, không kèm bất cứ quảng cáo gì hay trail gì cả /:D/

Quá tuyệt >:D<

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Lấy bảng dự báo thời tiết

Dễ lắm :D Ngày xửa ngày xưa thì dùng đoạn Javascript của bên Vnexpress.net. Nhưng giờ ít ai dùng cái đó nữa vì nó quá đơn giản. Thế nên sẽ lấy ở các nguồn khác thôi. Chung quy lại, là nên lấy của thằng Trung tâm khí tượng thủy văn Việt Nam (http://www.nchmf.gov.vn) là chuẩn nhất (chuyện, của Việt Nam mà :p)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
/**
* Get weather table
* @author Do Nam Khanh 
* @return string
*/
function _weather() {
	$content = file_get_contents('http://www.nchmf.gov.vn/website/vi-VN/43/Default.aspx');
 
	$strBegin 	= '<!-- Begin Display content -->';
	$strEnd 	= '<TD class="thoitiet_rightbox_ver"></TD>';
 
	$pos1 = strpos($content, $strBegin);
 
	if(false === $pos1) {
		return '';
	}
	else {
		$pos2 = strpos($content, $strEnd);
		$content = substr($content, $pos1, ($pos2-$pos1));
		return strip_tags($content, '<table><tr><td><img>');
	}
}

Demo: http://halongtours.vn/demo

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

PHP post_max_size issue

Hôm nay tôi gặp phải 1 “tình huống” khá là củ chuối. Phần upload file (thật ra là upload file để update lại các store - khá nhiều, hiện tại là 1500 store) có validate file size, file type. Tôi test “khá kỹ ” ở local & mọi thứ đều ổn. Thông số local của tôi như sau:

  • Windows XP/Vertrigo
  • post_max_size = 100M
  • upload_max_size = 20M

Khi up 1 file có dung lượng quá 20MB (<100MB) thì hệ thống hiện thông báo rất đẹp với nội dung là bạn đã upload quá dung lượng quy định bla bla…:-@

Thế nhưng sau khi request done trên PMS (project management system), bên test report lại là khi upload 1 file lớn hơn 16MB thì chẳng hiện gì cả, không lỗi & giống như tự F5 lại trang.

Xem phpinfo của môi trường trên testing thì như sau:

  • post_max_size = 8M
  • upload_max_size = 16M

Vậy là dung lượng vượt quá post_max_size rồi, và PHP đã làm thế này đối với đoạn code của tôi:

If the size of post data is greater than post_max_size, the $_POST and $_FILES superglobals are empty

Thế cho nên đoạn code:

1
2
3
4
$postMaxSize = int_get('post_max_size');
if($postMaxSize < $userFile['size']) {
//process error
}

chẳng hoạt động gì cả :((
Trên php.net có 1 trick để xử lý trường hợp này:

This can be tracked in various ways, e.g. by passing the $_GET variable to the script processing the data, i.e.

, and then checking if $_GET['processed'] is set.

Và đây là đoạn code của tôi:

1
2
3
if(isset($_GET['processed']) && !count($_POST)) {
  die('Error message here...');
}

Chạy ngon ;)

Rất cảm ơn anh NBThanh (Nguyễn Bá Thành) đã giúp đỡ em khắc phục vấn đề này :)

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Line endings

Thỉnh thoảng bị gặp lỗi rất củ chuối với các ký tự new line :( Do có sự khác biệt với mỗi hệ điều hành nên cần check cẩn thận:

  • Dos/Windows: \r\n
  • Unix: \n
  • Mac: \r

Tham khảo thêm tại: http://en.wikipedia.org/wiki/Line_endings

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Export to CSV file with Unicode

Ở bài trước tôi có đề cập đến việc export dữ liệu ra file CSV. Tuy nhiên, nếu export dữ liệu có chứa các ký tự Unicode thì sẽ không hiển thị được mặc dù khi mở bằng Notepad thì vẫn hiển thị đúng, tuy nhiên khi mở bằng Excel thì không hiển thị chính xác. Search trên mạng thấy giải pháp của anh Nguyễn Văn Hùng (Hưng?) đã giải quyết được (tôi mới test với German characters trong dự án Shop24 - rất okie).

Bài toán: export dữ liệu tiếng Việt UTF-8 thành file CSV có thể hiển thị đúng khi mở bằng Excel.
3 điểm dẫn đến thành công:
+ Dùng TAB (\t) thay cho COMMA (,) để phân tách các cột
+ Convert Encoding của dữ liệu cần output bằng UTF-16LE
+ Gắn chr(255)chr(254) vào đầu của kết quả cuối cùng trước khi output

PHP code đầy đủ (export order list):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
/**
 * EXPORT ORDER LIST TO CSV FILE
 * @author khanhdn
 */
function exportCSV() {
	global $user;
	member_access();
 
	$memberInfo = member_info();
 
	$result = drupal_query("SELECT order_id
					,order_code
					,bill_firstname
					,bill_lastname
					,order_modify_date
					,gand_total
					,order_status
					 FROM {order}
					 WHERE shop_code = '".$memberInfo['shop_code']."'
					 ORDER BY order_creation_date DESC");
 
	$status_options = array(
                                '1'  => 'Neu'
				,'2' => 'In Bearbeitung'
				,'3' => 'Auf der Post'
				,'4' => 'Ausgeführt'
				,'5' => 'Zurück'
				);
 
	$csv = "Order code\tCustomer Name\tModify Date\tOrder Total\tOrder Status\r\n";
 
	if(count($result['data']))
	{
		foreach($result['data'] as $row)
		{
			$order_list = array(
							'order_code' 		=> "$row->order_code"
							,'customer_name' 	=> $row->bill_firstname. ' ' .$row->bill_lastname
							,'modify_date' 		=> mysqlTimestamp(strtotime($row->order_modify_date),'d.m.Y')
							,'order_total'		 => 'CHF '.$row->gand_total
							,'order_status'		=> $status_options[$row->order_status]
			);
 
			$csv .= join("\t", $order_list)."\r\n";
		}
 
	}
	$csv = chr(255).chr(254).mb_convert_encoding($csv, "UTF-16LE", "UTF-8");
 
	header("Content-type: application/x-msdownload");
	header("Content-disposition: csv; filename=" . date("Y-m-d") .
	"_order_list.csv; size=".strlen($csv));
	echo $csv;
	exit();
}

Source: Nguyễn Văn Hùng weblog

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Page expried problem

Hôm nay tôi dính phải 1 bug khá củ chuối: sau khi submit form, back button không hoạt động trên IE6 browser. Khi click vào nút back này sẽ xuất hiện 1 thông báo như sau:

Warning: page has expired The page you requested was created using information you submitted in a form. This page is no longer available. As a security precaution, Internet Explorer does not automatically resubmit your information for you.

To resubmit your information and view this Web page, click the Refresh button.

Sau một hồi tham khảo các cách giải quyết trên mạng thì sinh ra được cái hàm này:

1
2
3
4
5
6
7
8
9
10
11
12
13
/**
* Fix back button on IE6 (stupid) browser
* @author khanhdn
*/
function fixBackButtonOnIE() {
//drupal_set_header("Expires: Sat, 27 Oct 1984 08:52:00 GMT GMT");    // Always expired (1)
//drupal_set_header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");    // always modified (2)
drupal_set_header("Cache-Control: no-store, no-cache, must-revalidate");    // HTTP/1.1 (3)
drupal_set_header("Cache-Control: public");    (4)
drupal_set_header("Pragma: no-cache");    // HTTP/1.0   (5)
 
ini_set('session.cache_limiter', 'private');    (6)
}

Tạm comment cái (1) (2), vẫn chạy okie. Có lẽ chỉ cần giữ lại (3) (4) (5) là đủ???

Dù sao cũng giải quyết được cái bug này >”<

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Form validation

Ngày trước tôi chỉ cần check cái input form (hữu hạn) để nó khác rỗng.

Ngày nay tôi phải:

  1. Check cả kiểu dữ liệu
  2. Check cả format (số điện thoại, số thẻ tín dụng…)
  3. Check các field mà không biết nó có thể tạo ra được bao nhiêu.
  4. Check các field & các field này ràng buộc với nhau. Từ trên xuống, có. Từ trái qua phải, có. Check chéo cũng có…
  5. … và nhiều cái phải check nữa sau này, qua quá trình làm việc sẽ dần dần đúc kết được thôi mà :)

Basic concept của 1 web developer khi validate form đó là…phải luôn focus dữ liệu. Thông báo được lỗi là tốt, nhưng chỉ ra lỗi vì đâu, lỗi ở chỗ nào, càng cụ thể thì càng tốt…cho người dùng (chứ dev thì mệt bỏ cha :D)

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Working with checkbox

Tôi thường hay dùng checkbox trong trường hợp list các record ra & cho phép chọn record tương ứng để xóa. Ngày trước, khi muốn lấy giá trị của các checkbox được chọn, tôi làm như sau:

1
2
3
4
5
6
7
8
9
if(is_array($_POST['checkbox_name'])) {
    $list_selected_id = '';
    foreach($_POST['checkbox_name'] as $key =&gt; $val) {
        $list_selected_id .= ','.$val;
    }
 
    $list_selected_id = substr($list_selected_id,1);
    //output will be: 1,2,3,...,n
}

Còn ngày nay, chỉ với 1 dòng đơn giản như sau:

1
$list_selected_id = implode(',', $_POST['checkbox_name']);

Hix, quá ngắn gọn, quá sáng sủa :(

Và thêm 1 điều nữa, tôi thấy Drupal (và các framework khác) thường dùng cách implode mảng để build các câu SQL. Quả thực khi áp dụng đúng lúc đúng chỗ thì phát huy tác dụng khỏi phải bàn cãi :D

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]

Shortcut keys

On FF, using:

Ctrl + Shift + T for restore tab just closed.

Ctrl + Tab for jump between opening tab

[Slashdot] [Digg] [Reddit] [del.icio.us] [Facebook] [Technorati] [Google] [StumbleUpon]