Finished implementation of string sanitization functions

minidisc-rs/Cargo.toml

@@ -12,10 +12,12 @@ readme = "README.md"
 # See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html
 
 [dependencies]
+diacritics = "0.2.0"
 encoding_rs = "0.8.33"
 nofmt = "1.0.0"
 once_cell = "1.18.0"
+regex = "1.9.5"
 rusb = "0.9.3"
-translit = "0.5.0"
 unicode-jp = "0.4.0"
+unicode-normalization = "0.1.22"
 

minidisc-rs/src/netmd/interface.rs

@@ -1,7 +1,8 @@
 use crate::netmd::base;
 use crate::netmd::query_utils::{format_query, scan_query, QueryValue};
 use crate::netmd::utils::{
-    half_width_to_full_width_range, length_after_encoding_to_jis, sanitize_full_width_title,
+    half_width_to_full_width_range, length_after_encoding_to_jis,
+    sanitize_full_width_title, sanitize_half_width_title
 };
 use encoding_rs::*;
 use rusb;
@@ -929,10 +930,10 @@ impl NetMDInterface {
             .into())
     }
 
-    pub fn set_disc_title(&self, title: String, wchar: bool) -> Result<String, Box<dyn Error>> {
+    pub fn set_disc_title(&self, title: String, wchar: bool) -> Result<(), Box<dyn Error>> {
         let current_title = self._disc_title(wchar)?;
         if current_title == title {
-            return Ok(current_title);
+            return Ok(());
         }
 
         let new_title: Vec<u8>;
@@ -944,7 +945,7 @@ impl NetMDInterface {
                 1
             },
             false => {
-                new_title = Vec::new();
+                new_title = sanitize_half_width_title(title);
                 0
             },
         };
@@ -968,7 +969,7 @@ impl NetMDInterface {
             ],
         )?;
 
-        let reply = self.send_query(&mut query, false, false);
+        let _ = self.send_query(&mut query, false, false);
 
         if self.net_md_device.vendor_id() == &0x04dd {
             self.change_descriptor_state(&Descriptor::AudioUTOC1TD, &DescriptorAction::Close)
@@ -978,6 +979,6 @@ impl NetMDInterface {
             self.change_descriptor_state(&Descriptor::DiscTitleTD, &DescriptorAction::Close);
         }
 
-        Ok(String::from_utf8(sanitize_full_width_title(&title, true)).unwrap())
+        Ok(())
     }
 }

minidisc-rs/src/netmd/mappings.rs

@@ -1,7 +1,7 @@
 use once_cell::sync::Lazy;
 use std::collections::HashMap;
 
-pub const MAPPINGS_JP: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
+pub const MAPPINGS_JP: Lazy<HashMap<String, String>> = Lazy::new(|| {[
     ("!".to_string(), "！".to_string()),
     ("\"".to_string(), "＂".to_string()),
     ("#".to_string(), "＃".to_string()),
@@ -193,7 +193,7 @@ pub const MAPPINGS_JP: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
     ("､".to_string(), "、".to_string())
 ].into_iter().collect()});
 
-pub const MAPPINGS_RU: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
+pub const MAPPINGS_RU: Lazy<HashMap<String, String>> = Lazy::new(|| {[
     ("а".to_string(), "a".to_string()),
     ("б".to_string(), "b".to_string()),
     ("в".to_string(), "v".to_string()),
@@ -262,7 +262,7 @@ pub const MAPPINGS_RU: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
     ("Я".to_string(), "Ia".to_string())
 ].into_iter().collect()});
 
-pub const MAPPINGS_DE: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
+pub const MAPPINGS_DE: Lazy<HashMap<String, String>> = Lazy::new(|| {[
     ("Ä".to_string(), "Ae".to_string()),
     ("ä".to_string(), "ae".to_string()),
     ("Ö".to_string(), "Oe".to_string()),
@@ -271,3 +271,286 @@ pub const MAPPINGS_DE: Lazy<HashMap<String, String>> = Lazy::new(|| {vec![
     ("ü".to_string(), "ue".to_string()),
     ("ß".to_string(), "ss".to_string())
 ].into_iter().collect()});
+
+pub const MAPPINGS_HW: Lazy<HashMap<String, String>> = Lazy::new(|| {[
+    ("－".to_string(),"-".to_string()),
+    ("ｰ".to_string(),"-".to_string()),
+    ("ァ".to_string(),"ｧ".to_string()),
+    ("ア".to_string(),"ｱ".to_string()),
+    ("ィ".to_string(),"ｨ".to_string()),
+    ("イ".to_string(),"ｲ".to_string()),
+    ("ゥ".to_string(),"ｩ".to_string()),
+    ("ウ".to_string(),"ｳ".to_string()),
+    ("ェ".to_string(),"ｪ".to_string()),
+    ("エ".to_string(),"ｴ".to_string()),
+    ("ォ".to_string(),"ｫ".to_string()),
+    ("オ".to_string(),"ｵ".to_string()),
+    ("カ".to_string(),"ｶ".to_string()),
+    ("ガ".to_string(),"ｶﾞ".to_string()),
+    ("キ".to_string(),"ｷ".to_string()),
+    ("ギ".to_string(),"ｷﾞ".to_string()),
+    ("ク".to_string(),"ｸ".to_string()),
+    ("グ".to_string(),"ｸﾞ".to_string()),
+    ("ケ".to_string(),"ｹ".to_string()),
+    ("ゲ".to_string(),"ｹﾞ".to_string()),
+    ("コ".to_string(),"ｺ".to_string()),
+    ("ゴ".to_string(),"ｺﾞ".to_string()),
+    ("サ".to_string(),"ｻ".to_string()),
+    ("ザ".to_string(),"ｻﾞ".to_string()),
+    ("シ".to_string(),"ｼ".to_string()),
+    ("ジ".to_string(),"ｼﾞ".to_string()),
+    ("ス".to_string(),"ｽ".to_string()),
+    ("ズ".to_string(),"ｽﾞ".to_string()),
+    ("セ".to_string(),"ｾ".to_string()),
+    ("ゼ".to_string(),"ｾﾞ".to_string()),
+    ("ソ".to_string(),"ｿ".to_string()),
+    ("ゾ".to_string(),"ｿﾞ".to_string()),
+    ("タ".to_string(),"ﾀ".to_string()),
+    ("ダ".to_string(),"ﾀﾞ".to_string()),
+    ("チ".to_string(),"ﾁ".to_string()),
+    ("ヂ".to_string(),"ﾁﾞ".to_string()),
+    ("ッ".to_string(),"ｯ".to_string()),
+    ("ツ".to_string(),"ﾂ".to_string()),
+    ("ヅ".to_string(),"ﾂﾞ".to_string()),
+    ("テ".to_string(),"ﾃ".to_string()),
+    ("デ".to_string(),"ﾃﾞ".to_string()),
+    ("ト".to_string(),"ﾄ".to_string()),
+    ("ド".to_string(),"ﾄﾞ".to_string()),
+    ("ナ".to_string(),"ﾅ".to_string()),
+    ("ニ".to_string(),"ﾆ".to_string()),
+    ("ヌ".to_string(),"ﾇ".to_string()),
+    ("ネ".to_string(),"ﾈ".to_string()),
+    ("ノ".to_string(),"ﾉ".to_string()),
+    ("ハ".to_string(),"ﾊ".to_string()),
+    ("バ".to_string(),"ﾊﾞ".to_string()),
+    ("パ".to_string(),"ﾊﾟ".to_string()),
+    ("ヒ".to_string(),"ﾋ".to_string()),
+    ("ビ".to_string(),"ﾋﾞ".to_string()),
+    ("ピ".to_string(),"ﾋﾟ".to_string()),
+    ("フ".to_string(),"ﾌ".to_string()),
+    ("ブ".to_string(),"ﾌﾞ".to_string()),
+    ("プ".to_string(),"ﾌﾟ".to_string()),
+    ("ヘ".to_string(),"ﾍ".to_string()),
+    ("ベ".to_string(),"ﾍﾞ".to_string()),
+    ("ペ".to_string(),"ﾍﾟ".to_string()),
+    ("ホ".to_string(),"ﾎ".to_string()),
+    ("ボ".to_string(),"ﾎﾞ".to_string()),
+    ("ポ".to_string(),"ﾎﾟ".to_string()),
+    ("マ".to_string(),"ﾏ".to_string()),
+    ("ミ".to_string(),"ﾐ".to_string()),
+    ("ム".to_string(),"ﾑ".to_string()),
+    ("メ".to_string(),"ﾒ".to_string()),
+    ("モ".to_string(),"ﾓ".to_string()),
+    ("ャ".to_string(),"ｬ".to_string()),
+    ("ヤ".to_string(),"ﾔ".to_string()),
+    ("ュ".to_string(),"ｭ".to_string()),
+    ("ユ".to_string(),"ﾕ".to_string()),
+    ("ョ".to_string(),"ｮ".to_string()),
+    ("ヨ".to_string(),"ﾖ".to_string()),
+    ("ラ".to_string(),"ﾗ".to_string()),
+    ("リ".to_string(),"ﾘ".to_string()),
+    ("ル".to_string(),"ﾙ".to_string()),
+    ("レ".to_string(),"ﾚ".to_string()),
+    ("ロ".to_string(),"ﾛ".to_string()),
+    ("ワ".to_string(),"ﾜ".to_string()),
+    ("ヲ".to_string(),"ｦ".to_string()),
+    ("ン".to_string(),"ﾝ".to_string()),
+    ("ー".to_string(),"-".to_string()),
+    ("ヮ".to_string(),"ヮ".to_string()),
+    ("ヰ".to_string(),"ヰ".to_string()),
+    ("ヱ".to_string(),"ヱ".to_string()),
+    ("ヵ".to_string(),"ヵ".to_string()),
+    ("ヶ".to_string(),"ヶ".to_string()),
+    ("ヴ".to_string(),"ｳﾞ".to_string()),
+    ("ヽ".to_string(),"ヽ".to_string()),
+    ("ヾ".to_string(),"ヾ".to_string()),
+    ("・".to_string(),"･".to_string()),
+    ("「".to_string(),"｢".to_string()),
+    ("」".to_string(),"｣".to_string()),
+    ("。".to_string(),"｡".to_string()),
+    ("、".to_string(),"､".to_string()),
+    ("！".to_string(),"!".to_string()),
+    ("＂".to_string(),"\"".to_string()),
+    ("＃".to_string(),"#".to_string()),
+    ("＄".to_string(),"$".to_string()),
+    ("％".to_string(),"%".to_string()),
+    ("＆".to_string(),"&".to_string()),
+    ("＇".to_string(),"'".to_string()),
+    ("（".to_string(),"(".to_string()),
+    ("）".to_string(),")".to_string()),
+    ("＊".to_string(),"*".to_string()),
+    ("＋".to_string(),"+".to_string()),
+    ("，".to_string(),",".to_string()),
+    ("．".to_string(),".".to_string()),
+    ("／".to_string(),"/".to_string()),
+    ("：".to_string(),":".to_string()),
+    ("；".to_string(),";".to_string()),
+    ("＜".to_string(),"<".to_string()),
+    ("＝".to_string(),"=".to_string()),
+    ("＞".to_string(),">".to_string()),
+    ("？".to_string(),"?".to_string()),
+    ("＠".to_string(),"@".to_string()),
+    ("Ａ".to_string(),"A".to_string()),
+    ("Ｂ".to_string(),"B".to_string()),
+    ("Ｃ".to_string(),"C".to_string()),
+    ("Ｄ".to_string(),"D".to_string()),
+    ("Ｅ".to_string(),"E".to_string()),
+    ("Ｆ".to_string(),"F".to_string()),
+    ("Ｇ".to_string(),"G".to_string()),
+    ("Ｈ".to_string(),"H".to_string()),
+    ("Ｉ".to_string(),"I".to_string()),
+    ("Ｊ".to_string(),"J".to_string()),
+    ("Ｋ".to_string(),"K".to_string()),
+    ("Ｌ".to_string(),"L".to_string()),
+    ("Ｍ".to_string(),"M".to_string()),
+    ("Ｎ".to_string(),"N".to_string()),
+    ("Ｏ".to_string(),"O".to_string()),
+    ("Ｐ".to_string(),"P".to_string()),
+    ("Ｑ".to_string(),"Q".to_string()),
+    ("Ｒ".to_string(),"R".to_string()),
+    ("Ｓ".to_string(),"S".to_string()),
+    ("Ｔ".to_string(),"T".to_string()),
+    ("Ｕ".to_string(),"U".to_string()),
+    ("Ｖ".to_string(),"V".to_string()),
+    ("Ｗ".to_string(),"W".to_string()),
+    ("Ｘ".to_string(),"X".to_string()),
+    ("Ｙ".to_string(),"Y".to_string()),
+    ("Ｚ".to_string(),"Z".to_string()),
+    ("［".to_string(),"[".to_string()),
+    ("＼".to_string(),"\\".to_string()),
+    ("］".to_string(),"]".to_string()),
+    ("＾".to_string(),"^".to_string()),
+    ("＿".to_string(),"_".to_string()),
+    ("｀".to_string(),"`".to_string()),
+    ("ａ".to_string(),"a".to_string()),
+    ("ｂ".to_string(),"b".to_string()),
+    ("ｃ".to_string(),"c".to_string()),
+    ("ｄ".to_string(),"d".to_string()),
+    ("ｅ".to_string(),"e".to_string()),
+    ("ｆ".to_string(),"f".to_string()),
+    ("ｇ".to_string(),"g".to_string()),
+    ("ｈ".to_string(),"h".to_string()),
+    ("ｉ".to_string(),"i".to_string()),
+    ("ｊ".to_string(),"j".to_string()),
+    ("ｋ".to_string(),"k".to_string()),
+    ("ｌ".to_string(),"l".to_string()),
+    ("ｍ".to_string(),"m".to_string()),
+    ("ｎ".to_string(),"n".to_string()),
+    ("ｏ".to_string(),"o".to_string()),
+    ("ｐ".to_string(),"p".to_string()),
+    ("ｑ".to_string(),"q".to_string()),
+    ("ｒ".to_string(),"r".to_string()),
+    ("ｓ".to_string(),"s".to_string()),
+    ("ｔ".to_string(),"t".to_string()),
+    ("ｕ".to_string(),"u".to_string()),
+    ("ｖ".to_string(),"v".to_string()),
+    ("ｗ".to_string(),"w".to_string()),
+    ("ｘ".to_string(),"x".to_string()),
+    ("ｙ".to_string(),"y".to_string()),
+    ("ｚ".to_string(),"z".to_string()),
+    ("｛".to_string(),"{".to_string()),
+    ("｜".to_string(),"|".to_string()),
+    ("｝".to_string(),"}".to_string()),
+    ("～".to_string(),"~".to_string()),
+    ("　".to_string()," ".to_string()),
+    ("０".to_string(),"0".to_string()),
+    ("１".to_string(),"1".to_string()),
+    ("２".to_string(),"2".to_string()),
+    ("３".to_string(),"3".to_string()),
+    ("４".to_string(),"4".to_string()),
+    ("５".to_string(),"5".to_string()),
+    ("６".to_string(),"6".to_string()),
+    ("７".to_string(),"7".to_string()),
+    ("８".to_string(),"8".to_string()),
+    ("９".to_string(),"9".to_string()),
+    ("ぁ".to_string(),"ｧ".to_string()),
+    ("あ".to_string(),"ｱ".to_string()),
+    ("ぃ".to_string(),"ｨ".to_string()),
+    ("い".to_string(),"ｲ".to_string()),
+    ("ぅ".to_string(),"ｩ".to_string()),
+    ("う".to_string(),"ｳ".to_string()),
+    ("ぇ".to_string(),"ｪ".to_string()),
+    ("え".to_string(),"ｴ".to_string()),
+    ("ぉ".to_string(),"ｫ".to_string()),
+    ("お".to_string(),"ｵ".to_string()),
+    ("か".to_string(),"ｶ".to_string()),
+    ("が".to_string(),"ｶﾞ".to_string()),
+    ("き".to_string(),"ｷ".to_string()),
+    ("ぎ".to_string(),"ｷﾞ".to_string()),
+    ("く".to_string(),"ｸ".to_string()),
+    ("ぐ".to_string(),"ｸﾞ".to_string()),
+    ("け".to_string(),"ｹ".to_string()),
+    ("げ".to_string(),"ｹﾞ".to_string()),
+    ("こ".to_string(),"ｺ".to_string()),
+    ("ご".to_string(),"ｺﾞ".to_string()),
+    ("さ".to_string(),"ｻ".to_string()),
+    ("ざ".to_string(),"ｻﾞ".to_string()),
+    ("し".to_string(),"ｼ".to_string()),
+    ("じ".to_string(),"ｼﾞ".to_string()),
+    ("す".to_string(),"ｽ".to_string()),
+    ("ず".to_string(),"ｽﾞ".to_string()),
+    ("せ".to_string(),"ｾ".to_string()),
+    ("ぜ".to_string(),"ｾﾞ".to_string()),
+    ("そ".to_string(),"ｿ".to_string()),
+    ("ぞ".to_string(),"ｿﾞ".to_string()),
+    ("た".to_string(),"ﾀ".to_string()),
+    ("だ".to_string(),"ﾀﾞ".to_string()),
+    ("ち".to_string(),"ﾁ".to_string()),
+    ("ぢ".to_string(),"ﾁﾞ".to_string()),
+    ("っ".to_string(),"ｯ".to_string()),
+    ("つ".to_string(),"ﾂ".to_string()),
+    ("づ".to_string(),"ﾂﾞ".to_string()),
+    ("て".to_string(),"ﾃ".to_string()),
+    ("で".to_string(),"ﾃﾞ".to_string()),
+    ("と".to_string(),"ﾄ".to_string()),
+    ("ど".to_string(),"ﾄﾞ".to_string()),
+    ("な".to_string(),"ﾅ".to_string()),
+    ("に".to_string(),"ﾆ".to_string()),
+    ("ぬ".to_string(),"ﾇ".to_string()),
+    ("ね".to_string(),"ﾈ".to_string()),
+    ("の".to_string(),"ﾉ".to_string()),
+    ("は".to_string(),"ﾊ".to_string()),
+    ("ば".to_string(),"ﾊﾞ".to_string()),
+    ("ぱ".to_string(),"ﾊﾟ".to_string()),
+    ("ひ".to_string(),"ﾋ".to_string()),
+    ("び".to_string(),"ﾋﾞ".to_string()),
+    ("ぴ".to_string(),"ﾋﾟ".to_string()),
+    ("ふ".to_string(),"ﾌ".to_string()),
+    ("ぶ".to_string(),"ﾌﾞ".to_string()),
+    ("ぷ".to_string(),"ﾌﾟ".to_string()),
+    ("へ".to_string(),"ﾍ".to_string()),
+    ("べ".to_string(),"ﾍﾞ".to_string()),
+    ("ぺ".to_string(),"ﾍﾟ".to_string()),
+    ("ほ".to_string(),"ﾎ".to_string()),
+    ("ぼ".to_string(),"ﾎﾞ".to_string()),
+    ("ぽ".to_string(),"ﾎﾟ".to_string()),
+    ("ま".to_string(),"ﾏ".to_string()),
+    ("み".to_string(),"ﾐ".to_string()),
+    ("む".to_string(),"ﾑ".to_string()),
+    ("め".to_string(),"ﾒ".to_string()),
+    ("も".to_string(),"ﾓ".to_string()),
+    ("ゃ".to_string(),"ｬ".to_string()),
+    ("や".to_string(),"ﾔ".to_string()),
+    ("ゅ".to_string(),"ｭ".to_string()),
+    ("ゆ".to_string(),"ﾕ".to_string()),
+    ("ょ".to_string(),"ｮ".to_string()),
+    ("よ".to_string(),"ﾖ".to_string()),
+    ("ら".to_string(),"ﾗ".to_string()),
+    ("り".to_string(),"ﾘ".to_string()),
+    ("る".to_string(),"ﾙ".to_string()),
+    ("れ".to_string(),"ﾚ".to_string()),
+    ("ろ".to_string(),"ﾛ".to_string()),
+    ("わ".to_string(),"ﾜ".to_string()),
+    ("を".to_string(),"ｦ".to_string()),
+    ("ん".to_string(),"ﾝ".to_string()),
+    ("ゎ".to_string(),"ヮ".to_string()),
+    ("ゐ".to_string(),"ヰ".to_string()),
+    ("ゑ".to_string(),"ヱ".to_string()),
+    ("ゕ".to_string(),"ヵ".to_string()),
+    ("ゖ".to_string(),"ヶ".to_string()),
+    ("ゔ".to_string(),"ｳﾞ".to_string()),
+    ("ゝ".to_string(),"ヽ".to_string()),
+    ("ゞ".to_string(),"ヾ".to_string()),
+].into_iter().collect()});
+
+pub const ALLOWED_HW_KANA: Lazy<Vec<String>> = Lazy::new(|| {MAPPINGS_HW.values().cloned().collect()});

minidisc-rs/src/netmd/utils.rs

@@ -1,8 +1,12 @@
+use crate::netmd::mappings::{ALLOWED_HW_KANA, MAPPINGS_DE, MAPPINGS_HW, MAPPINGS_JP, MAPPINGS_RU};
+use diacritics;
 use encoding_rs::SHIFT_JIS;
-use kana::{ascii2wide, combine, half2kana};
+use regex::Regex;
 use std::collections::hash_map::HashMap;
-use std::error::Error;
-use crate::netmd::mappings::{MAPPINGS_JP, MAPPINGS_RU, MAPPINGS_DE};
+use unicode_normalization::UnicodeNormalization;
+
+extern crate kana;
+use kana::*;
 
 pub fn bcd_to_int(mut bcd: i32) -> i32 {
     let mut value = 0;
@@ -76,16 +80,51 @@ pub fn length_after_encoding_to_jis(string: &String) -> usize {
     new_string.0.len()
 }
 
-pub fn validate_shift_jis(sjis_string: &Vec<u8>) -> Result<(), Box<dyn Error>> {
-    let (_, _, had_errors) = SHIFT_JIS.decode(sjis_string);
+pub fn validate_shift_jis(sjis_string: Vec<u8>) -> bool {
+    let (_, _, had_errors) = SHIFT_JIS.decode(&sjis_string);
 
     if had_errors {
-        Err("Not valid SHIFT-JIS".into())
+        true
     } else {
-        Ok(())
+        false
     }
 }
 
+fn check(string: String) -> Option<String> {
+    if MAPPINGS_HW.contains_key(&string) {
+        return Some(MAPPINGS_HW.get(&string).unwrap().to_string());
+    }
+    let mut ch = string.chars();
+    if (ch.next().unwrap() as u32) < 0x7f || ALLOWED_HW_KANA.contains(&string) {
+        return Some(string);
+    }
+    None
+}
+
+pub fn sanitize_half_width_title(mut title: String) -> Vec<u8> {
+    title = wide2ascii(&title);
+    title = nowidespace(&title);
+    title = hira2kata(&title);
+    title = combine(&title);
+
+    let new_title: String = title
+        .chars()
+        .map(|c| {
+            check(c.to_string()).unwrap_or(
+                check(diacritics::remove_diacritics(&c.to_string())).unwrap_or(" ".to_string()),
+            )
+        })
+        .collect();
+
+    let sjis_string = SHIFT_JIS.encode(&new_title).0;
+
+    if validate_shift_jis(sjis_string.clone().into()) {
+        return agressive_sanitize_title(&title).into();
+    }
+
+    return sjis_string.into();
+}
+
 // TODO: This function is bad, probably should do the string sanitization in the frontend
 pub fn sanitize_full_width_title(title: &String, just_remap: bool) -> Vec<u8> {
     let new_title: String = title
@@ -93,20 +132,23 @@ pub fn sanitize_full_width_title(title: &String, just_remap: bool) -> Vec<u8> {
         .map(|character| {
             match MAPPINGS_JP.get(&character.to_string()) {
                 Some(string) => string.clone(),
-                None => character.to_string().clone()
-            }.to_string()
+                None => character.to_string().clone(),
+            }
+            .to_string()
         })
         .map(|character| {
             match MAPPINGS_RU.get(&character.to_string()) {
                 Some(string) => string.clone(),
-                None => character.to_string().clone()
-            }.to_string()
+                None => character.to_string().clone(),
+            }
+            .to_string()
         })
         .map(|character| {
             match MAPPINGS_DE.get(&character.to_string()) {
                 Some(string) => string.clone(),
-                None => character.to_string().clone()
-            }.to_string()
+                None => character.to_string().clone(),
+            }
+            .to_string()
         })
         .collect::<String>();
 
@@ -116,5 +158,20 @@ pub fn sanitize_full_width_title(title: &String, just_remap: bool) -> Vec<u8> {
 
     let sjis_string = SHIFT_JIS.encode(&new_title).0;
 
+    if validate_shift_jis(sjis_string.clone().into()) {
+        return agressive_sanitize_title(&title).into();
+    }
+
     return sjis_string.into();
 }
+
+pub fn agressive_sanitize_title(title: &String) -> String {
+    let re = Regex::new(r"[^\x00-\x7F]").unwrap();
+    re.replace_all(
+        &diacritics::remove_diacritics(title)
+            .nfd()
+            .collect::<String>(),
+        "",
+    )
+    .into()
+}