cs/ext/JISAutoDetect.java

0N/A/*
3261N/A * Copyright (c) 2003, 2010, Oracle and/or its affiliates. All rights reserved.
0N/A * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
0N/A *
0N/A * This code is free software; you can redistribute it and/or modify it
0N/A * under the terms of the GNU General Public License version 2 only, as
2362N/A * published by the Free Software Foundation.  Oracle designates this
0N/A * particular file as subject to the "Classpath" exception as provided
2362N/A * by Oracle in the LICENSE file that accompanied this code.
0N/A *
0N/A * This code is distributed in the hope that it will be useful, but WITHOUT
0N/A * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
0N/A * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
0N/A * version 2 for more details (a copy is included in the LICENSE file that
0N/A * accompanied this code).
0N/A *
0N/A * You should have received a copy of the GNU General Public License version
0N/A * 2 along with this work; if not, write to the Free Software Foundation,
0N/A * Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA.
0N/A *
2362N/A * Please contact Oracle, 500 Oracle Parkway, Redwood Shores, CA 94065 USA
2362N/A * or visit www.oracle.com if you need additional information or have any
2362N/A * questions.
0N/A */
0N/A
0N/Apackage sun.nio.cs.ext;
0N/A
0N/Aimport java.nio.ByteBuffer;
0N/Aimport java.nio.CharBuffer;
0N/Aimport java.nio.charset.Charset;
0N/Aimport java.nio.charset.CharsetDecoder;
0N/Aimport java.nio.charset.CharsetEncoder;
0N/Aimport java.nio.charset.CoderResult;
0N/Aimport java.nio.charset.CharacterCodingException;
0N/Aimport java.nio.charset.MalformedInputException;
0N/Aimport sun.nio.cs.HistoricallyNamedCharset;
0N/Aimport java.security.AccessController;
0N/Aimport sun.security.action.GetPropertyAction;
0N/Aimport static java.lang.Character.UnicodeBlock;
0N/A
0N/A
0N/Apublic class JISAutoDetect
0N/A    extends Charset
0N/A    implements HistoricallyNamedCharset
0N/A{
0N/A
0N/A    private final static int EUCJP_MASK       = 0x01;
0N/A    private final static int SJIS2B_MASK      = 0x02;
0N/A    private final static int SJIS1B_MASK      = 0x04;
0N/A    private final static int EUCJP_KANA1_MASK = 0x08;
0N/A    private final static int EUCJP_KANA2_MASK = 0x10;
0N/A
0N/A    public JISAutoDetect() {
0N/A        super("x-JISAutoDetect", ExtendedCharsets.aliasesFor("x-JISAutoDetect"));
0N/A    }
0N/A
0N/A    public boolean contains(Charset cs) {
0N/A        return ((cs.name().equals("US-ASCII"))
0N/A                || (cs instanceof SJIS)
0N/A                || (cs instanceof EUC_JP)
0N/A                || (cs instanceof ISO2022_JP));
0N/A    }
0N/A
0N/A    public boolean canEncode() {
0N/A        return false;
0N/A    }
0N/A
0N/A    public CharsetDecoder newDecoder() {
0N/A        return new Decoder(this);
0N/A    }
0N/A
0N/A    public String historicalName() {
0N/A        return "JISAutoDetect";
0N/A    }
0N/A
0N/A    public CharsetEncoder newEncoder() {
0N/A        throw new UnsupportedOperationException();
0N/A    }
0N/A
0N/A    /**
0N/A     * accessor methods used to share byte masking tables
0N/A     * with the sun.io JISAutoDetect implementation
0N/A     */
0N/A
2472N/A    public static byte[] getByteMask1() {
0N/A        return Decoder.maskTable1;
0N/A    }
0N/A
2472N/A    public static byte[] getByteMask2() {
0N/A        return Decoder.maskTable2;
0N/A    }
0N/A
0N/A    public final static boolean canBeSJIS1B(int mask) {
0N/A        return (mask & SJIS1B_MASK) != 0;
0N/A    }
0N/A
0N/A    public final static boolean canBeEUCJP(int mask) {
0N/A        return (mask & EUCJP_MASK) != 0;
0N/A    }
0N/A
0N/A    public final static boolean canBeEUCKana(int mask1, int mask2) {
0N/A        return ((mask1 & EUCJP_KANA1_MASK) != 0)
0N/A            && ((mask2 & EUCJP_KANA2_MASK) != 0);
0N/A    }
0N/A
0N/A    // A heuristic algorithm for guessing if EUC-decoded text really
0N/A    // might be Japanese text.  Better heuristics are possible...
0N/A    private static boolean looksLikeJapanese(CharBuffer cb) {
0N/A        int hiragana = 0;       // Fullwidth Hiragana
0N/A        int katakana = 0;       // Halfwidth Katakana
0N/A        while (cb.hasRemaining()) {
0N/A            char c = cb.get();
0N/A            if (0x3040 <= c && c <= 0x309f && ++hiragana > 1) return true;
0N/A            if (0xff65 <= c && c <= 0xff9f && ++katakana > 1) return true;
0N/A        }
0N/A        return false;
0N/A    }
0N/A
0N/A    private static class Decoder extends CharsetDecoder {
0N/A
0N/A        private final static String SJISName = getSJISName();
0N/A        private final static String EUCJPName = getEUCJPName();
0N/A        private DelegatableDecoder detectedDecoder = null;
0N/A
0N/A        public Decoder(Charset cs) {
0N/A            super(cs, 0.5f, 1.0f);
0N/A        }
0N/A
0N/A        private static boolean isPlainASCII(byte b) {
0N/A            return b >= 0 && b != 0x1b;
0N/A        }
0N/A
0N/A        private static void copyLeadingASCII(ByteBuffer src, CharBuffer dst) {
0N/A            int start = src.position();
0N/A            int limit = start + Math.min(src.remaining(), dst.remaining());
0N/A            int p;
0N/A            byte b;
0N/A            for (p = start; p < limit && isPlainASCII(b = src.get(p)); p++)
0N/A                dst.put((char)(b & 0xff));
0N/A            src.position(p);
0N/A        }
0N/A
0N/A        private CoderResult decodeLoop(Charset cs,
0N/A                                       ByteBuffer src, CharBuffer dst) {
0N/A            detectedDecoder = (DelegatableDecoder) cs.newDecoder();
0N/A            return detectedDecoder.decodeLoop(src, dst);
0N/A        }
0N/A
0N/A        protected CoderResult decodeLoop(ByteBuffer src, CharBuffer dst) {
0N/A            if (detectedDecoder == null) {
0N/A                copyLeadingASCII(src, dst);
0N/A
0N/A                // All ASCII?
0N/A                if (! src.hasRemaining())
0N/A                    return CoderResult.UNDERFLOW;
0N/A                if (! dst.hasRemaining())
0N/A                    return CoderResult.OVERFLOW;
0N/A
0N/A                // We need to perform double, not float, arithmetic; otherwise
0N/A                // we lose low order bits when src is larger than 2**24.
0N/A                int cbufsiz = (int)(src.limit() * (double)maxCharsPerByte());
0N/A                CharBuffer sandbox = CharBuffer.allocate(cbufsiz);
0N/A
0N/A                // First try ISO-2022-JP, since there is no ambiguity
0N/A                Charset cs2022 = Charset.forName("ISO-2022-JP");
0N/A                DelegatableDecoder dd2022
0N/A                    = (DelegatableDecoder) cs2022.newDecoder();
0N/A                ByteBuffer src2022 = src.asReadOnlyBuffer();
0N/A                CoderResult res2022 = dd2022.decodeLoop(src2022, sandbox);
0N/A                if (! res2022.isError())
0N/A                    return decodeLoop(cs2022, src, dst);
0N/A
0N/A                // We must choose between EUC and SJIS
0N/A                Charset csEUCJ = Charset.forName(EUCJPName);
0N/A                Charset csSJIS = Charset.forName(SJISName);
0N/A
0N/A                DelegatableDecoder ddEUCJ
0N/A                    = (DelegatableDecoder) csEUCJ.newDecoder();
0N/A                ByteBuffer srcEUCJ = src.asReadOnlyBuffer();
0N/A                sandbox.clear();
0N/A                CoderResult resEUCJ = ddEUCJ.decodeLoop(srcEUCJ, sandbox);
0N/A                // If EUC decoding fails, must be SJIS
0N/A                if (resEUCJ.isError())
0N/A                    return decodeLoop(csSJIS, src, dst);
0N/A
0N/A                DelegatableDecoder ddSJIS
0N/A                    = (DelegatableDecoder) csSJIS.newDecoder();
0N/A                ByteBuffer srcSJIS = src.asReadOnlyBuffer();
0N/A                CharBuffer sandboxSJIS = CharBuffer.allocate(cbufsiz);
0N/A                CoderResult resSJIS = ddSJIS.decodeLoop(srcSJIS, sandboxSJIS);
0N/A                // If SJIS decoding fails, must be EUC
0N/A                if (resSJIS.isError())
0N/A                    return decodeLoop(csEUCJ, src, dst);
0N/A
0N/A                // From here on, we have some ambiguity, and must guess.
0N/A
0N/A                // We prefer input that does not appear to end mid-character.
0N/A                if (srcEUCJ.position() > srcSJIS.position())
0N/A                    return decodeLoop(csEUCJ, src, dst);
0N/A
0N/A                if (srcEUCJ.position() < srcSJIS.position())
0N/A                    return decodeLoop(csSJIS, src, dst);
0N/A
0N/A                // end-of-input is after the first byte of the first char?
0N/A                if (src.position() == srcEUCJ.position())
0N/A                    return CoderResult.UNDERFLOW;
0N/A
0N/A                // Use heuristic knowledge of typical Japanese text
0N/A                sandbox.flip();
0N/A                Charset guess = looksLikeJapanese(sandbox) ? csEUCJ : csSJIS;
0N/A                return decodeLoop(guess, src, dst);
0N/A            }
0N/A
0N/A            return detectedDecoder.decodeLoop(src, dst);
0N/A        }
0N/A
0N/A        protected void implReset() {
0N/A            detectedDecoder = null;
0N/A        }
0N/A
0N/A        protected CoderResult implFlush(CharBuffer out) {
0N/A            if (detectedDecoder != null)
0N/A                return detectedDecoder.implFlush(out);
0N/A            else
0N/A                return super.implFlush(out);
0N/A        }
0N/A
0N/A        public boolean isAutoDetecting() {
0N/A            return true;
0N/A        }
0N/A
0N/A        public boolean isCharsetDetected() {
0N/A            return detectedDecoder != null;
0N/A        }
0N/A
0N/A        public Charset detectedCharset() {
0N/A            if (detectedDecoder == null)
0N/A                throw new IllegalStateException("charset not yet detected");
0N/A            return ((CharsetDecoder) detectedDecoder).charset();
0N/A        }
0N/A
0N/A        /**
0N/A         * Returned Shift_JIS Charset name is OS dependent
0N/A         */
0N/A        private static String getSJISName() {
0N/A            String osName = AccessController.doPrivileged(
0N/A                new GetPropertyAction("os.name"));
0N/A            if (osName.equals("Solaris") || osName.equals("SunOS"))
0N/A                return("PCK");
0N/A            else if (osName.startsWith("Windows"))
0N/A                return("windows-31J");
0N/A            else
0N/A                return("Shift_JIS");
0N/A        }
0N/A
0N/A        /**
0N/A         * Returned EUC-JP Charset name is OS dependent
0N/A         */
0N/A
0N/A        private static String getEUCJPName() {
0N/A            String osName = AccessController.doPrivileged(
0N/A                new GetPropertyAction("os.name"));
0N/A            if (osName.equals("Solaris") || osName.equals("SunOS"))
0N/A                return("x-eucjp-open");
0N/A            else
0N/A                return("EUC_JP");
0N/A        }
0N/A
0N/A        // Mask tables - each entry indicates possibility of first or
0N/A        // second byte being SJIS or EUC_JP
0N/A        private static final byte maskTable1[] = {
0N/A            0, 0, 0, 0, // 0x00 - 0x03
0N/A            0, 0, 0, 0, // 0x04 - 0x07
0N/A            0, 0, 0, 0, // 0x08 - 0x0b
0N/A            0, 0, 0, 0, // 0x0c - 0x0f
0N/A            0, 0, 0, 0, // 0x10 - 0x13
0N/A            0, 0, 0, 0, // 0x14 - 0x17
0N/A            0, 0, 0, 0, // 0x18 - 0x1b
0N/A            0, 0, 0, 0, // 0x1c - 0x1f
0N/A            0, 0, 0, 0, // 0x20 - 0x23
0N/A            0, 0, 0, 0, // 0x24 - 0x27
0N/A            0, 0, 0, 0, // 0x28 - 0x2b
0N/A            0, 0, 0, 0, // 0x2c - 0x2f
0N/A            0, 0, 0, 0, // 0x30 - 0x33
0N/A            0, 0, 0, 0, // 0x34 - 0x37
0N/A            0, 0, 0, 0, // 0x38 - 0x3b
0N/A            0, 0, 0, 0, // 0x3c - 0x3f
0N/A            0, 0, 0, 0, // 0x40 - 0x43
0N/A            0, 0, 0, 0, // 0x44 - 0x47
0N/A            0, 0, 0, 0, // 0x48 - 0x4b
0N/A            0, 0, 0, 0, // 0x4c - 0x4f
0N/A            0, 0, 0, 0, // 0x50 - 0x53
0N/A            0, 0, 0, 0, // 0x54 - 0x57
0N/A            0, 0, 0, 0, // 0x58 - 0x5b
0N/A            0, 0, 0, 0, // 0x5c - 0x5f
0N/A            0, 0, 0, 0, // 0x60 - 0x63
0N/A            0, 0, 0, 0, // 0x64 - 0x67
0N/A            0, 0, 0, 0, // 0x68 - 0x6b
0N/A            0, 0, 0, 0, // 0x6c - 0x6f
0N/A            0, 0, 0, 0, // 0x70 - 0x73
0N/A            0, 0, 0, 0, // 0x74 - 0x77
0N/A            0, 0, 0, 0, // 0x78 - 0x7b
0N/A            0, 0, 0, 0, // 0x7c - 0x7f
0N/A            0, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK,   // 0x80 - 0x83
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x84 - 0x87
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x88 - 0x8b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,   // 0x8c - 0x8f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x90 - 0x93
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x94 - 0x97
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x98 - 0x9b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x9c - 0x9f
0N/A            0, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,  // 0xa0 - 0xa3
0N/A            SJIS1B_MASK|EUCJP_MASK|EUCJP_KANA1_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,    // 0xa4 - 0xa7
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xa8 - 0xab
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xac - 0xaf
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xb0 - 0xb3
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xb4 - 0xb7
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xb8 - 0xbb
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xbc - 0xbf
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xc0 - 0xc3
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xc4 - 0xc7
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xc8 - 0xcb
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xcc - 0xcf
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xd0 - 0xd3
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xd4 - 0xd7
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xd8 - 0xdb
0N/A            SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK, SJIS1B_MASK|EUCJP_MASK,     // 0xdc - 0xdf
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xe0 - 0xe3
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xe4 - 0xe7
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xe8 - 0xeb
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xec - 0xef
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xf0 - 0xf3
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xf4 - 0xf7
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xf8 - 0xfb
0N/A            SJIS2B_MASK|EUCJP_MASK, EUCJP_MASK, EUCJP_MASK, 0   // 0xfc - 0xff
0N/A        };
0N/A
0N/A        private static final byte maskTable2[] = {
0N/A            0, 0, 0, 0, // 0x00 - 0x03
0N/A            0, 0, 0, 0, // 0x04 - 0x07
0N/A            0, 0, 0, 0, // 0x08 - 0x0b
0N/A            0, 0, 0, 0, // 0x0c - 0x0f
0N/A            0, 0, 0, 0, // 0x10 - 0x13
0N/A            0, 0, 0, 0, // 0x14 - 0x17
0N/A            0, 0, 0, 0, // 0x18 - 0x1b
0N/A            0, 0, 0, 0, // 0x1c - 0x1f
0N/A            0, 0, 0, 0, // 0x20 - 0x23
0N/A            0, 0, 0, 0, // 0x24 - 0x27
0N/A            0, 0, 0, 0, // 0x28 - 0x2b
0N/A            0, 0, 0, 0, // 0x2c - 0x2f
0N/A            0, 0, 0, 0, // 0x30 - 0x33
0N/A            0, 0, 0, 0, // 0x34 - 0x37
0N/A            0, 0, 0, 0, // 0x38 - 0x3b
0N/A            0, 0, 0, 0, // 0x3c - 0x3f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x40 - 0x43
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x44 - 0x47
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x48 - 0x4b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x4c - 0x4f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x50 - 0x53
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x54 - 0x57
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x58 - 0x5b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x5c - 0x5f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x60 - 0x63
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x64 - 0x67
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x68 - 0x6b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x6c - 0x6f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x70 - 0x73
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x74 - 0x77
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x78 - 0x7b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, 0,   // 0x7c - 0x7f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x80 - 0x83
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x84 - 0x87
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x88 - 0x8b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x8c - 0x8f
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x90 - 0x93
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x94 - 0x97
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x98 - 0x9b
0N/A            SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, SJIS2B_MASK, // 0x9c - 0x9f
0N/A            SJIS2B_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xa0 - 0xa3
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xa4 - 0xa7
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xa8 - 0xab
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xac - 0xaf
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xb0 - 0xb3
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xb4 - 0xb7
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xb8 - 0xbb
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xbc - 0xbf
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xc0 - 0xc3
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xc4 - 0xc7
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xc8 - 0xcb
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xcc - 0xcf
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xd0 - 0xd3
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xd4 - 0xd7
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xd8 - 0xdb
0N/A            SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS1B_MASK|SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xdc - 0xdf
0N/A            SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xe0 - 0xe3
0N/A            SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xe4 - 0xe7
0N/A            SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xe8 - 0xeb
0N/A            SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xec - 0xef
0N/A            SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, SJIS2B_MASK|EUCJP_MASK|EUCJP_KANA2_MASK, // 0xf0 - 0xf3
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xf4 - 0xf7
0N/A            SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK, SJIS2B_MASK|EUCJP_MASK,     // 0xf8 - 0xfb
0N/A            SJIS2B_MASK|EUCJP_MASK, EUCJP_MASK, EUCJP_MASK, 0   // 0xfc - 0xff
0N/A        };
0N/A    }
0N/A}